แถวที่ซ้ำกันของข้อมูลการเรียกเก็บเงินบนคลาวด์ของ Google

ฉันดึงข้อมูลการเรียกเก็บเงิน GCP ผ่าน BigQuery ฉันทำการสืบค้นเพื่อดึงข้อมูลในช่วงเวลาหนึ่ง จากนั้นฉันพบข้อมูลที่ซ้ำกันสองประเภท:

1. ข้อมูลที่ซ้ำกันเป็นผลมาจากการเลิกซ้อนคอลัมน์ป้ายกำกับ

2. ผลลัพธ์ข้อมูลที่ซ้ำกันจากคิวรีปกติ (เหมือนด้านล่าง) แถวที่มีค่าเท่ากันทั้งหมดสำหรับคอลัมน์ทั้งหมด

      รหัสการเรียกเก็บเงิน_account_id AS
      service.id AS ServiceId,
      service.description AS คำอธิบายบริการ
      sku.id เป็น SkuId
      sku.description AS SkuDescription,
      การใช้งาน_start_time,
      การใช้งาน_end_time,
      project.id AS ProjectId,
      หมายเลขโครงการ AS หมายเลขโครงการ
      project.name AS ชื่อโครงการ
      project.labels เป็น ProjectLabels
      project.ancestry_numbers เป็น ProjectAncestryNumbers
      ฉลาก AS Label,
      system_labels เป็น SystemLabels
      location.location AS ที่ตั้ง
      location.country AS ประเทศ
      location.region AS ภูมิภาค
      location.zone AS โซน,
      SUBSTRING (ส่ง (export_time เป็นสตริง), 1, 19) AS ExportTime,
      ต้นทุนเป็นต้นทุน
      สกุลเงิน AS สกุลเงิน,
      currency_conversion_rate AS CurrencyConversionRate
      การใช้งานจำนวน AS การใช้งานจำนวน
      use.unit AS การใช้งานUnit,
      การใช้งาน amount_in_pricing_units AS การใช้งาน AmountInPricingUnits
      การใช้งาน pricing_unit AS การใช้งาน PricingUnit
      เครดิต AS เครดิต,
      invoice.month AS InvoiceMonth
      cost_type เป็นประเภทต้นทุน
      adjustment_info.id AS adjustmentInfoId
      adjustment_info.description AS adjustmentInfoDescription
      adjustment_info.mode AS adjustmentInfoMode
      adjustment_info.type AS adjustmentInfoType
    จาก 
    'ชื่อตาราง' 
    WHERE DATE(_PARTITIONTIME) ระหว่าง ลบFromTime(utcnow(),60,'วัน','yyyy-MM-dd')และ formatDateTime(utcnow(),'yyyy-MM-dd')```


**อยากทราบว่าทำไมข้อมูลซ้ำกัน? จะจัดการได้อย่างไรและจะแน่ใจได้อย่างไรว่าการคำนวณต้นทุนจะไม่ได้รับผลกระทบจากข้อมูลที่ซ้ำกัน**

ขอบคุณถ้าใครสามารถช่วยฉัน


ดีที่สุด
โชกูเฟห์

1. เหตุใดแถวจึงซ้ำกันเมื่อยกเลิกการซ้อนฟิลด์ป้ายกำกับ

เมื่อคุณยกเลิกการซ้อนฟิลด์ประเภทซ้ำเช่น ป้ายกำกับคาดว่าจะมีการซ้ำซ้อนของแถว เพื่อให้แม่นยำ แต่ละแถวจะซ้ำกันตามความยาวของแถวนั้น ป้ายกำกับ อาร์เรย์

2. เหตุใดจึงมีแถวที่ซ้ำกันก่อนที่จะยกเลิกการซ้อน

หากคุณสร้าง Compute Engine VM 2 เครื่องที่มีการกำหนดค่าและตำแหน่งที่แน่นอน แถวการใช้งานที่ไม่ได้ใช้งานในการส่งออกการเรียกเก็บเงินของ VM 2 เครื่องนั้นจะเหมือนกันทุกประการ เว้นแต่จะมีป้ายกำกับกำกับไว้ ตารางส่งออกไม่มีคีย์หลักที่เปิดเผยอย่างชัดเจน

ความละเอียดของตารางการส่งออกมีไว้สำหรับบริการและ SKU เท่านั้น ไม่ใช่ต่อทรัพยากร สิ่งนี้นำไปสู่การค้นหาข้อมูลที่ซ้ำกัน แต่เป็นการใช้งานจริงที่ถูกต้อง