Czy można przestawiać dane za pomocą LINQ?

171

Zastanawiam się, czy możliwe jest użycie LINQ do przestawienia danych z następującego układu:

CustID | OrderDate | Qty
1      | 1/1/2008  | 100
2      | 1/2/2008  | 200
1      | 2/2/2008  | 350
2      | 2/28/2008 | 221
1      | 3/12/2008 | 250
2      | 3/15/2008 | 2150

na coś takiego:

CustID  | Jan- 2008 | Feb- 2008 | Mar - 2008 |
1       | 100       | 350       |  250
2       | 200       | 221       | 2150
Tim Lentine
źródło

Odpowiedzi:

190

Coś takiego?

List<CustData> myList = GetCustData();

var query = myList
    .GroupBy(c => c.CustId)
    .Select(g => new {
        CustId = g.Key,
        Jan = g.Where(c => c.OrderDate.Month == 1).Sum(c => c.Qty),
        Feb = g.Where(c => c.OrderDate.Month == 2).Sum(c => c.Qty),
        March = g.Where(c => c.OrderDate.Month == 3).Sum(c => c.Qty)
    });

GroupByw Linq nie działa tak samo jak SQL. W SQL otrzymujesz klucz i agregaty (kształt wiersza / kolumny). W Linq otrzymujesz klucz i wszystkie elementy jako dzieci klucza (kształt hierarchiczny). Aby przestawić, musisz rzutować hierarchię z powrotem na wybrany wiersz / kolumnę.

Amy B.
źródło
Czy lista musi być IEnumerable, zanim będzie można zastosować przestawienie? Czy można to również zrobić na IQueryable z EF (bez konieczności materializacji listy w pamięci)?
Rob Vermeulen
@RobVermeulen Mógłbym przetłumaczyć to zapytanie na sql, więc spodziewałbym się, że EF również będzie w stanie je przetłumaczyć. Chyba spróbować?
Amy B
Przetestowałem to i w pewnym sensie działa. Chociaż SQL Profiler pokazuje, że EF nie przetłumaczy go na (szybkie) zapytanie przestawne, ale kilka wolniejszych zapytań podrzędnych.
Rob Vermeulen
12

Odpowiedziałem na podobne pytanie używając metody rozszerzenia linq:

// order s(ource) by OrderDate to have proper column ordering
var r = s.Pivot3(e => e.custID, e => e.OrderDate.ToString("MMM-yyyy")
    , lst => lst.Sum(e => e.Qty));
// order r(esult) by CustID

(+) implementacja ogólna
(-) zdecydowanie wolniejsza niż Amy B.

Czy ktoś może ulepszyć moją implementację (tj. Metoda robi kolejność kolumn i wierszy)?

Sanjaya.Tio
źródło
7

Myślę, że najładniejsze podejście do tego polega na użyciu wyszukiwania:

var query =
    from c in myList
    group c by c.CustId into gcs
    let lookup = gcs.ToLookup(y => y.OrderDate.Month, y => y.Qty)
    select new
    {
        CustId = gcs.Key,
        Jan = lookup[1].Sum(),
        Feb = lookup[2].Sum(),
        Mar = lookup[3].Sum(),
    };
Enigmativity
źródło
2

Oto nieco bardziej ogólny sposób przestawiania danych za pomocą LINQ:

IEnumerable<CustData> s;
var groupedData = s.ToLookup( 
        k => new ValueKey(
            k.CustID, // 1st dimension
            String.Format("{0}-{1}", k.OrderDate.Month, k.OrderDate.Year // 2nd dimension
        ) ) );
var rowKeys = groupedData.Select(g => (int)g.Key.DimKeys[0]).Distinct().OrderBy(k=>k);
var columnKeys = groupedData.Select(g => (string)g.Key.DimKeys[1]).Distinct().OrderBy(k=>k);
foreach (var row in rowKeys) {
    Console.Write("CustID {0}: ", row);
    foreach (var column in columnKeys) {
        Console.Write("{0:####} ", groupedData[new ValueKey(row,column)].Sum(r=>r.Qty) );
    }
    Console.WriteLine();
}

gdzie ValueKey to specjalna klasa reprezentująca klucz wielowymiarowy:

public sealed class ValueKey {
    public readonly object[] DimKeys;
    public ValueKey(params object[] dimKeys) {
        DimKeys = dimKeys;
    }
    public override int GetHashCode() {
        if (DimKeys==null) return 0;
        int hashCode = DimKeys.Length;
        for (int i = 0; i < DimKeys.Length; i++) { 
            hashCode ^= DimKeys[i].GetHashCode();
        }
        return hashCode;
    }
    public override bool Equals(object obj) {
        if ( obj==null || !(obj is ValueKey))
            return false;
        var x = DimKeys;
        var y = ((ValueKey)obj).DimKeys;
        if (ReferenceEquals(x,y))
            return true;
        if (x.Length!=y.Length)
            return false;
        for (int i = 0; i < x.Length; i++) {
            if (!x[i].Equals(y[i]))
                return false;
        }
        return true;            
    }
}

To podejście może być użyte do grupowania według wymiarów N (n> 2) i będzie działać dobrze dla raczej małych zbiorów danych. W przypadku dużych zbiorów danych (do 1 mln rekordów i więcej) lub w przypadkach, gdy konfiguracja przestawna nie może być zakodowana na stałe, napisałem specjalną bibliotekę PivotData (jest bezpłatna):

var pvtData = new PivotData(new []{"CustID","OrderDate"}, new SumAggregatorFactory("Qty"));
pvtData.ProcessData(s, (o, f) => {
    var custData = (TT)o;
    switch (f) {
        case "CustID": return custData.CustID;
        case "OrderDate": 
        return String.Format("{0}-{1}", custData.OrderDate.Month, custData.OrderDate.Year);
        case "Qty": return custData.Qty;
    }
    return null;
} );
Console.WriteLine( pvtData[1, "1-2008"].Value );  
Vitaliy Fedorchenko
źródło
2

Jest to najbardziej efektywny sposób:

Sprawdź następujące podejście. Zamiast iterować po grupie klientów za każdym razem w każdym miesiącu.

var query = myList
    .GroupBy(c => c.CustId)
    .Select(g => {
        var results = new CustomerStatistics();
        foreach (var customer in g)
        {
            switch (customer.OrderDate.Month)
            {
                case 1:
                    results.Jan += customer.Qty;
                    break;
                case 2:
                    results.Feb += customer.Qty;
                    break;
                case 3:
                    results.March += customer.Qty;
                    break;
                default:
                    break;
            }
        }
        return  new
        {
            CustId = g.Key,
            results.Jan,
            results.Feb,
            results.March
        };
    });

Albo ten :

var query = myList
    .GroupBy(c => c.CustId)
    .Select(g => {
        var results = g.Aggregate(new CustomerStatistics(), (result, customer) => result.Accumulate(customer), customerStatistics => customerStatistics.Compute());
        return  new
        {
            CustId = g.Key,
            results.Jan,
            results.Feb,
            results.March
        };
    });

Kompletne rozwiązanie:

using System;
using System.Collections.Generic;
using System.Linq;

namespace ConsoleApp
{
    internal class Program
    {
        private static void Main(string[] args)
        {
            IEnumerable<CustData> myList = GetCustData().Take(100);

            var query = myList
                .GroupBy(c => c.CustId)
                .Select(g =>
                {
                    CustomerStatistics results = g.Aggregate(new CustomerStatistics(), (result, customer) => result.Accumulate(customer), customerStatistics => customerStatistics.Compute());
                    return new
                    {
                        CustId = g.Key,
                        results.Jan,
                        results.Feb,
                        results.March
                    };
                });
            Console.ReadKey();
        }

        private static IEnumerable<CustData> GetCustData()
        {
            Random random = new Random();
            int custId = 0;
            while (true)
            {
                custId++;
                yield return new CustData { CustId = custId, OrderDate = new DateTime(2018, random.Next(1, 4), 1), Qty = random.Next(1, 50) };
            }
        }

    }
    public class CustData
    {
        public int CustId { get; set; }
        public DateTime OrderDate { get; set; }
        public int Qty { get; set; }
    }
    public class CustomerStatistics
    {
        public int Jan { get; set; }
        public int Feb { get; set; }
        public int March { get; set; }
        internal CustomerStatistics Accumulate(CustData customer)
        {
            switch (customer.OrderDate.Month)
            {
                case 1:
                    Jan += customer.Qty;
                    break;
                case 2:
                    Feb += customer.Qty;
                    break;
                case 3:
                    March += customer.Qty;
                    break;
                default:
                    break;
            }
            return this;
        }
        public CustomerStatistics Compute()
        {
            return this;
        }
    }
}
Ali Bayat
źródło
-4

Pogrupuj dane według miesiąca, a następnie wyświetlaj je jako nowe dane z kolumnami dla każdego miesiąca. Nowa tabela byłaby Twoją tabelą przestawną.

mattlant
źródło
Nie mogę sobie wyobrazić, jak to zadziała, ale jestem na tyle ciekawy, aby poprosić o dołączenie przykładowego kodu.
Josh Gallagher