ぼく的、pandasの落とし穴groupby()について、まとめてみました。 使用データ 実現損益履歴 やりたいこと 銘柄別の実現損益データを見たい 実装 # ライブラリとファイルの読み込みimport pandas as pddf = pd.read_csv('realized_pl.csv', encoding='shift-J…

kaggleで機械学習をしている中で、「ビン分割」という単語を見かけたので、知識のインプットと実装をしてみた。 ビン分割って、たぶんこういうもの インプットをする前に、「ビン分割」という字面からだけで、こんなものだろうと予想。 ビン分割とは、なにか…

機械学習をする中で、今日までGoogleColaboratoryは万能であると信じていた。 90分、12時間ルール、ファイルや標準以外のライブラリは、毎回インストールしないといけないなどの、デメリットはあったが、問題なくGoogleColaboratoryで完結できた。 しかし、…

プログラミングは楽しい。たまに、１つのエラーが解消できず、平気で数時間経っていることを踏まえても楽しい。ただ、たまに手段が目的化してしまっていると感じる時がある。まず、初めに「プログラミングは手段である」と結論付ける。プログラミングが生ま…

「外れ値は、確認次第除外すべし」とは一概には言えないかもしれない - ぺーぱーの日々 前に外れ値について調べたけど、わかったようなわからないような感じなので、自分なりにストーリーを作って、手を動かしてみて再度理解してみようと努めてみた。 外れ値…

「外れ値は除外すべし！」と統計や機械学習ではよく耳にする（気がしている）。 外れ値の論理的な理解はさておき、いつものごとく実現損益データを使って実装してみる！ 目的 外れ値の除外 やりたいこと 実現損益データの実現損益額から、外れ値を除外する …

はじめに aggregate関数が、脱・初学者のカギを握っているのではないかと思って、とりあえず実装してみた。 やりたいこと aggregate関数を使いこなして、スマートなコーディングをしたい 基本 aggregate関数とは 複数の処理を一度に処理できる関数 イメージ …

ELI5とは 一言で 「解釈する」とは そもそも「モデル」って？ つまりELI5とは アウトプットイメージ 先にアウトプットを確認 キーワードから内容を類推 ELI5を実装 目的 得たい結果 実装方針 実装コード 実行結果 予測精度 特徴量と重要度の一覧 特徴量と重…

Layer (type) 層の種類 Output Shape Param# Connected to まとめ 参考サイト kaggleを使っていると（お手本コードの写経）、最終的にこんな感じの結果を得られるのだが、見方がわからないので、画像に出てくるキーワードがなにを指しているのか、調べた内容…

はじめに やりたいこと [:, 0]の意味 [:, 0]の実例 配列の先頭の値を取得 実行結果 各配列の先頭の値をすべて取得 出力結果 各配列の真ん中の値をすべて取得 実行結果 各配列の最後の値をすべて取得 出力結果 参考サイト はじめに kaggleのこちらをやってい…

こんな感じのグラフを見ると、「なんか分析してる」って感じしますよね？（語彙が乏しくてすいません。） 下のような手順で、画像のようなグラフを描画してみようと思います。 ヒストグラム コード import matplotlib.pyplot as pltimport numpy as np# 対象…

知りたいこと これまでトータルいくら勝ったのか（負けたのか） 年ごとにいくら勝ったのか（負けたのか） 月ごとにいくら勝ったのか（負けたのか） 銘柄ごとにいくら勝ったのか（負けたのか） 成績の良い銘柄と悪い銘柄は 勝った額・負けた額の大きな取引 損…

数字が欲しいのに、<class '・・・'>みたいなのが、結果として返ってくることが多くて、これはどうやら「オブジェクト指向」を理解しないとこの食い違いは、解消できないぞ、と常々思ってきた。 ある時、オブジェクト指向の糸口がつかめた気がしたので、これまで実装してきた</class>…

やりたいこと 可視化結果 分析結果 結果からわかること まとめ 参考サイト やりたいこと 勝ちと負けの可視化 実現損益の推移 成績の良い株価は●円台か 実現損益に影響を与えているのは、なんの要素か 相性の良い銘柄はどれか いくらの銘柄をよく買うのか 可…

pythonには、いろんなアルゴリズムを使えることがわかった。 そうなると、直面するのが、「どのアルゴリズムを使えばいいのか」問題。 チートシート 参考サイト チートシート Scikit-learn 英語だが、カラフルで直感的にわかる SAS Institute Japan 日本語で…

結局、pythonを始めた理由は自分が興味のある領域をかなえられそうだから。 その１つが、投資（株）への活用。 改めて、pythonを使って投資にどう活用できるのかを整理する。 活用シーン 分析 データ収集 データ集約 売買自動化 分析 過去の取引結果を可視化…

機械学習の分類領域で活用されている不正検知。 お金を扱う金融系の企業にとって、不正検知はサービス運営の生命線と言えると思う。 GMOの公式サイトに、どんなアルゴリズムが不正検知の機械学習に使われているのかをまとめていたので、参考にさせていただい…

python×機械学習で、手書き文字の認識を実装してみました。 使用データ やりたいこと scikit-learn付属のデータセットの”手書き文字”の表示やデータセットの確認を行う 実装内容 from sklearn.datasets import load_digitsfrom sklearn import svmfrom sklea…

機械学習でできる５つのうち、分類の実装にうつる。 分類の代表的な活用シーンとして、迷惑メールの分類が挙げられる。 今回は、以下の３つのアルゴリズムを使って分類してみる。 「ナイーブベイズ」 「パーセプトロン」 「ロジスティック回帰」 使用データ …

機械学習のアウトプットをこのブログでやるなかで、毎回コンテンツがばらばらで統一感がなく、同じ材料を使って各手法の精度を検証するのにとても収まりの悪さを感じていたので、「理論株価」に関する論文をネット検索して、その論文から構成の作り方を学ぼ…

３種類のアルゴリズムを使って、株価予測を行ってみました。 実装したものの、結果が得られなかった２つを含めると、５種のアルゴリズムを手を動かしてやってみたことになる。 結果が得られなかったアルゴリズムとその理由 LightGBM →出力中に接続が途切れる…

XGBoostを使って、株価予測を実装してみました。 実装したコード # ライブラリのインポートfrom datetime import datetime, timedeltaimport numpy as npimport pandas as pdfrom pandas_datareader import dataimport matplotlib.pyplot as plt%matplotlib …

予測モデルの良し悪しを判断するために、いろんな指標がある。 小さいほうが良いもの、大きいほうが良いもの、０～１を取るもの、上限はないもの、いろんなものがあるので、整理した。 評価指標の一覧 参考サイト 評価指標の一覧 Google スプレッドシートを…

ランダムフォレストで、株価の予測を行ってみる。 実装したコード # ライブラリのインポートfrom datetime import datetime, timedeltaimport numpy as npimport pandas as pdfrom pandas_datareader import dataimport matplotlib.pyplot as plt%matplotlib…

重回帰分析を使って、株価の予測を実装してみる。 やりたいこと 欲しい結果 実装コード ぼく的ポイント 得られた結果 結果からわかること まとめ 参考サイト やりたいこと ノジマの株価予測 欲しい結果 実装手順 ライブラリのインポート 株価データの取得 曜…

用語 機械学習 モデル 回帰 分類 データセット（dataset） 中間層 過学習（Overfitting） 特徴量（feature） 交差検証（cross-validation） パラメーター（parameter） スタッキング（stacking） 正規分布（normal distribution） 正規分布曲線（bell curve…

LSTMを使って、株価の予測を実装してみる。 やりたいこと ほしい結果 実装手順 実装内容 ぼく的ポイント 実行結果 実行結果からわかること まとめ 後で調べること 参考サイト やりたいこと ノジマの株価を予測 ほしい結果 2022-03-01~2022-06-03の株価を予測…

いくつか機械学習のアルゴリズムを実装してみたけど、結局機械学習ってなんのためにやるのかがわからなくなってきたので、整理する。 機械学習の用途 具体的な活用シーン 自分がやりたいこと まとめ 参考サイト 機械学習の用途 クラスタリング・・・データを…

６つの教師あり学習のアルゴリズムを実装して、気づいたことを整理する。 ６つの教師あり学習のアルゴリズムを実装して、気づいたことを整理する。 気づいたこと 最終的に得られる結果 今後の課題 気づいたこと 実装手順は共通している箇所が多い データの読…

以下のサイトを参考に、勾配ブースティングを実装してみる。 機械学習アルゴリズムの分類と実装まとめ - Qiita やりたいこと 勾配ブースティングの特徴 実装する前の仮説 実装 わかったこと まとめ 後々調べるべきこと やりたいこと 勾配ブースティングの実…