Преобразование объекта summary из statsmodels в DataFrame Pandas

Простое решение заключается всего в одной строке кода:

LRresult = (result.summary2().tables[1])

Как упомянул ZaxR в своем комментарии, summary2 пока не считается стабильным, хотя он хорошо работает и с summary. Поэтому правильным ответом может быть:

LRresult = (result.summary().tables[1])

Это даст вам объект DataFrame:

type(LRresult)

Вывод будет:

pandas.core.frame.DataFrame

Чтобы получить значимые переменные и запустить тест снова, выполните следующие шаги:

newlist = list(LRresult[LRresult['P>|z|'] <= 0.05].index)[1:]
myform1 = 'binary_Target' + ' ~ ' + ' + '.join(newlist)

M1_test2 = smf.logit(formula=myform1, data=myM1_1)

result2 = M1_test2.fit(maxiter=200)
LRresult2 = (result2.summary2().tables[1])
LRresult2

Эти шаги позволят вам построить новую модель с учетом только значимых переменных.

Вы можете использовать следующий код. Это будет простое решение, которое работает почти всегда:

lr.summary2()

Если у вас есть дополнительные вопросы или проблемы, не стесняйтесь задавать их!

Я всё ещё считаю, что нет однозначного ответа, который охватывал бы весь запрос в полном объёме. Вот один из способов представить всю информацию в двух датафреймах (один для средней таблицы и один для метрик в верхней и нижней частях).

def reform_df(dft):
    # Небольшое и быстрое объединение столбцов 2 и 3 со столбцами 0 и 1
    dfl = dft[[0, 1]]
    dfr = dft[[2, 3]]
    dfr.columns = 0, 1
    dfout = pd.concat([dfl, dfr])
    dfout.columns = ['Параметр', 'Значение']
    return dfout

def model_summary_to_dataframe(model):
    # Сначала создаём среднюю таблицу      
    results_df = pd.DataFrame(model.summary().tables[1])
    results_df = results_df.set_index(0)
    results_df.columns = results_df.iloc[0]
    results_df = results_df.iloc[1:]
    results_df.index.name = 'Параметр'

    # Теперь добавим окружающую информацию
    metrics_top = reform_df(pd.DataFrame(model.summary().tables[0]))
    metrics_bot = reform_df(pd.DataFrame(model.summary().tables[2]))
    metrics_df = pd.concat([metrics_top, metrics_bot])

    return pd.DataFrame(results_df), metrics_df

Данный код предоставляет возможность получить результаты модели и метрики в удобном формате для анализа.

Этот код помещает все метрики в словарь, доступный по ключу. Промежуточный результат — это DataFrame, который вы можете использовать. Я не сделал коэффициенты в виде словаря, но вы можете применить аналогичный метод, создав словарь с двумя уровнями: dict[var][metric].

Для упрощения ввода ключей я преобразовал некоторые названия метрик в более удобные для ввода версии. Например, "Prob(Omnibus):" становится prob_omnibus, так что вы сможете получить значение с помощью res_dict['prob_omnibus'].

Вот код:

import pandas as pd

res = sm.OLS(y, X).fit()
model_results_df = []
coefficient_df = None
for i, tab in enumerate(res.summary().tables):
    header, index_col = None, None
    if i == 1:
        coefficient_df = pd.read_html(tab.as_html(), header=0, index_col=0)[0]
    else:
        df = pd.read_html(tab.as_html())[0]
        model_results_df += [df.iloc[:,0:2], df.iloc[:,2:4]]

model_results_df = pd.DataFrame(np.concatenate(model_results_df), columns=['metric', 'value'])
model_results_df.dropna(inplace=True, axis=0)
model_results_df.metric = model_results_df.metric.apply(lambda x : x.lower().replace(' (', '_')
                                                        .replace('.', '').replace('(', '_')
                                                        .replace(')', '').replace('-', '_')
                                                       .replace(':', '').replace(' ', '_'))

res_dict = dict(zip(model_results_df.metric.values, model_results_df.value.values))
res_dict['f_statistic']

Таким образом, вы получаете доступ к метрикам в удобно читаемом виде и можете легко работать с полученными данными.

Если вам нужно получить сопутствующую информацию, попробуйте следующий код:

import pandas as pd

dfs = {}
fs = fa_model.summary()

for item in fs.tables[0].data:
    dfs[item[0].strip()] = item[1].strip()
    dfs[item[2].strip()] = item[3].strip()

for item in fs.tables[2].data:
    dfs[item[0].strip()] = item[1].strip()
    dfs[item[2].strip()] = item[3].strip()

dfs = pd.Series(dfs)

Этот код создает словарь dfs, который заполняется данными из таблиц модели fa_model. Сначала он обрабатывает данные из первой и третьей таблицы, очищая пробелы с помощью метода strip(), и затем преобразует полученный словарь в объект pd.Series. Надеюсь, это поможет вам получить нужную информацию!