Como alterar com eficiência o layout de dados de um DataFrame em pandas?

Eu tenho um DataFrame com valores organizados em duas colunas, consulte a tabela T1 . Deseja reorganizar os valores de forma a criar o layout dos dados, conforme mostrado na tabela T2 . Fileiras em T2 são criados por transposição de uma "janela deslizante" de valores, que se deslocam para baixo na coluna uma na tabela T1 . Existe alguma maneira inteligente nos pandas de fazer isso de maneira eficiente?

T1              T2

 a | b           A |  B |  C | D
------          ---------------
41 | 5          41 | 42 | 43 | 7
42 | 6          42 | 43 | 44 | 8
43 | 7    -->   43 | 44 | 45 | 9
44 | 8          44 | 45 | .. | .
45 | 9          45 | .. | .. | .
.. | .          .. | .. | .. | .
.. | .          .. | .. | .. | .

Você poderia usar as_strided:

from numpy.lib.stride_tricks import as_strided

window = 3
stride = df['a'].values.strides[0]

pd.DataFrame(as_strided(df['a'].values, 
                        shape=(len(df) - window + 1, window),
                        strides = (stride,stride))
            )

Resultado:

     0   1   2
0   41  42  43
1   42  43  44
2   43  44  45

Isso deve fazer o truque:

df = df.rename(columns={"b": "D", "a": "A"})

df["B"] = df["A"].shift(-1)
df["C"] = df["A"].shift(-2)
df["D"] = df["D"].shift(-2)
df = df.sort_index(axis=1)

Resultado:

    A     B     C    D
0  41  42.0  43.0  7.0
1  42  43.0  44.0  8.0
2  43  44.0  45.0  9.0
3  44  45.0   NaN  NaN
4  45   NaN   NaN  NaN

Você pode usar as_strided:

stride = np.lib.stride_tricks.as_strided
window=3
v = stride(df.a, (len(df) - (window - 1), window), (df.a.values.strides * 2))
df=df.assign(**pd.DataFrame(v.tolist(),columns=list('ABC')).reindex(df.index))
df=df.assign(D=df.iloc[:,-1].map(df.set_index('a')['b']))
print(df)

    a  b     A     B     C    D
0  41  5  41.0  42.0  43.0  7.0
1  42  6  42.0  43.0  44.0  8.0
2  43  7  43.0  44.0  45.0  9.0
3  44  8   NaN   NaN   NaN  NaN
4  45  9   NaN   NaN   NaN  NaN

Você pode usar a indexação numpy:

window = 3
indexer = np.arange(window)[None, :] + np.arange(len(df) - window + 1)[:, None]
a_values = df.a.values[indexer]  # apply fancy indexing on a

b_values = df.b.values[window - 1:].reshape(-1, 1)

result = pd.DataFrame(data=np.hstack([a_values, b_values]), columns=['A', 'B', 'C', 'D'])

print(result)

Resultado

    A   B   C  D
0  41  42  43  7
1  42  43  44  8
2  43  44  45  9