Pythonで統計解析

統計といえばRですが、ここではあえてPythonを使った統計テクニックを載せていこうと思います。Rは統計処理に特化した強力な言語ですが、統計処理に特化しているがゆえに、ほかの処理との組み合わせやアプリへの組み込みが難しくなってしまう側面があります。統計処理にPythonを用いることで、AI処理との親和性やOpenCVによる画像解析との統合が容易であり、自作アプリへの組み込みも可能になります。

データの取得

• MS Excelファイル (xls形式、xlsx形式) のDataFrameへの読み込み・書き込み
• MS Accessファイル (accdb形式) へのアクセス

学習用データセット

• 学習用データセット – seaborn
• サンプルデータセット – scikit-learn①

オープンデータ

• COVID-19 感染者動向に関するオープンデータ

データの取り扱い

Series

• Seriesの作成とその活用

DataFrame

• DataFrameの作成
• DataFrameの行・列の追加
• DataFrameの成分へのアクセス
• DataFrameの行数・列数を取得する
• DataFrameのデータ要約(記述統計量の取得)
• DataFrameにマルチインデックスを設定する
• マルチインデックスが設定されたDataFrameの統計量の取得
• DataFrame / Series からリストに変換する
• DataFrameから条件を指定してデータを抽出する方法(ブールインデックス参照)
• DataFrameから条件を指定してデータを抽出する方法(queryメソッド)
• DataFrameの結合
• DataFrameを1行ずつ処理する(forループ)
• DataFrameにメタデータを加える

データの解析

区間推定

• 正規母集団の母平均の区間推定を行う

仮説検定

• 2群間の母平均の差の検定を行う(t検定)
• 多群間の等分散性の検定を行う(バートレット検定・ルビーン検定)
• 分布の適合度検定を行う(カイ二乗検定)
• 分割表における独立性の検定を行う(カイ二乗検定)

回帰分析

• ロジスティック回帰分析

相関分析

• DataFrameの各列間の相関係数を求める(相関行列)

生存時間解析

• カプラン・マイヤー推定量と生存率曲線
• 2群の生存確率関数の差の検定(ログランク検定・一般化Wilcoxon検定)
• 比例ハザードモデルを用いたCox回帰分析

Pythonパッケージ

おススメ書籍