データサイエンス

重回帰分析と多重共線性

今回は重回帰分析を行う上で避けて通ることのできない、多重共線性を扱います。

情報量規準 (AIC / BIC) と回帰分析の変数選択

データサイエンティスト協会が2021年に発表したスキルチェックリストver.4から、データサイエンス力の No. 58 にあたる予測 (回帰・分類)、「重回帰分析や判別分析を実行する際に変数選択手法の特徴を理解し、適用できる 」の内容を参考文献をもとにまとめま…

回帰分析の検定と変数選択

データサイエンティスト協会が2021年に発表したスキルチェックリストver.4から、データサイエンス力の No. 58 にあたる予測 (回帰・分類)、「重回帰分析や判別分析を実行する際に変数選択手法の特徴を理解し、適用できる 」の内容を参考文献をもとにまとめま…

回帰分析の基礎 - 重回帰分析 -

データサイエンティスト協会が2021年に発表したスキルチェックリストver.4から、データサイエンス力の No. 57 にあたる予測 (回帰・分類)、「重回帰分析において偏回帰係数と標準偏回帰係数、重相関係数について説明できる 」の内容を参考文献をもとにまとめ…

回帰分析の基礎 - 単回帰分析 -

データサイエンティスト協会が2021年に発表したスキルチェックリストver.4から、データサイエンス力の No. 56 にあたる予測 (回帰・分類)、「単回帰分析において最小二乗法、回帰係数、標準誤差、決定係数を理解し、モデルを構築できる」の内容を参考文献を…

python で XML を取得・パースするサンプルコード

pythonでXMLを処理する方法は様々ありますが、本記事ではその中から代表的なライブラリを使用し、XMLファイルの取得とパース処理のサンプルコードをまとめました。

【初心者におすすめ】因果推論を学ぶ本超入門書

データ分析の専門会社に対して因果推論のコンサルを経験したことのある筆者が、因果推論をこれから勉強してみようか悩んでいる方におすすめする本を紹介する。

『マーケティングの統計モデル』第8章の階層ベイズモデルをStanでモデリングしてみた

はじめに 階層ベイズモデルによるブランド選択行動のモデル化 分析内容 モデル式の記述 Stan コード はじめに 『マーケティングの統計モデル』の第8章で登場する階層ベイズモデル (階層ベイズモデルによるブランド選択行動のモデル化) を Stan でモデリング…

Causal Forest 検証 (1)

はじめに Lalonde データについて Lalonde データとは ランダム化試験による因果効果 Causal Forest による因果効果の推定 複数データでの Causal Forest の検証 統計的因果推論の関連記事 はじめに 最近、データサイエンスの界隈でも因果推論に関する盛り上…

機械学習を用いた因果推論のための最新 Python パッケージ "CausalML" の紹介

はじめに CausalML とは 現在 CausalML で提供されているもの CausalMLがどういう分野で適用可能か Targeting Optimization Causal Impact Analysis Personalization おわりに 統計的因果推論の関連記事 はじめに 本記事は H. Chen et al. (2020), "CausalML…

読了メモ:R. Dehejia (2005), "Practical Propensity Score Matching: A Reply to Smith and Todd"

はじめに 論文の主旨 1. Smith and Todd(2005) において誤解ないしは看過されている点 2. 傾向スコアのモデル特定 (specification) に関する問題 3. 傾向スコアのモデル特定における感度 (sensitivity) の問題 はじめに 本記事は R. Dehejia (2005), "Practi…

岩波データサイエンスvol.3のCM接触の因果効果を他の方法で推定してみた(3)

はじめに Meta-Learner T-Learner S-Learner X-Learner Domain Adaptation Learner 因果効果の推定 おわりに 統計的因果推論の関連記事 はじめに 岩波データサイエンスvol.3のCM接触の因果効果を他の方法で推定してみた、第三弾です。第一弾で「傾向スコアマ…

岩波データサイエンスvol.3のCM接触の因果効果を他の方法で推定してみた(2)

岩波データサイエンスvol.3 Causal Forest Causal Forest による因果効果の推定 おわりに 統計的因果推論の関連記事 岩波データサイエンスvol.3 岩波データサイエンスvol.3のCM接触の因果効果を他の方法で推定してみた、第二弾です。今回は「非均質性を伴っ…

岩波データサイエンスvol.3のCM接触の因果効果を他の方法で推定してみた(1)

岩波データサイエンスvol.3 データの準備 手法の説明 因果効果の推定 傾向スコアマッチング 統計的因果推論の関連記事 岩波データサイエンスvol.3 最近、業務の中で統計的因果推論の手法を適用するにあたって勉強をしており、その一環として各手法や実装方法…

IPWsurvival パッケージを用いた統計的因果推論 x 生存分析

IPWsurvival というパッケージを用いて統計的因果推論を用いた生存分析を行う方法を紹介します。

python で日本の年収分布の "推移" をグラフ化してみた

日本の年収分布の「推移」をグラフをアニメーションさせることで実装しました。本記事では Python による実装方法を紹介しています。

R初学者のためのオススメ書籍

データ分析を行うにあたって Python と並んで人気の言語が R です。様々な統計解析や可視化を簡単なコマンドで実行でき、SQL の集計ではカバーできない範囲の分析を行う際には私もよく使用しています。 この記事では、私が R を学ぶ際に参考にした書籍を紹介…

Google BigQuery の View でうまく Partition を指定する方法

Bigquery の View で Partition を切る方法を解説します。この方法を使えば、View でもデータ量を絞ることができます。

施策の効果測定について -いかに因果関係を見出すか-

スマホゲームの分析を行っていると、プロデューサーやディレクター、はたまたプランナーから「この前行った○○キャンペーンの効果測定をお願いしたい」という依頼が来ることが多い (むしろ、分析を行っている人間からすれば、そのような依頼が来る前に自発的…

SQLを学ぶ上で参考になったものまとめ

自分がSQLを勉強するにあたって、参考になったサービスや書籍を紹介していくページです。

MySQLメモーDAU、課金UU、課金率の集計ー

MySQLでDAU、課金UU、課金率を集計するクエリです。

R の caret パッケージメモ~train:caret 決定木~

R の caret パッケージの使い方の備忘録です。 今回は train関数の method に "rpart" を指定し、決定木の構築を行う方法をメモします。

R の caret パッケージメモ~train:caret 一般化線形モデル~

R の caret パッケージの使い方の備忘録です。 今回は train関数の method に "glm" を指定し、一般化線形回帰モデルの構築を行う方法をメモします。

R の caret パッケージメモ~train:caret 線形回帰~

R の caret パッケージの使い方の備忘録です。 今回は train関数の method に "lm" を指定し、線形回帰モデルの作成を行う方法をメモします。