python
I have participated in Kaggle competitions twice. Then, I thought that my statistical skills were not enough to do EDA. So, I decided to study statistics. My goal is to obtain a second-level license in statistics. Classification of Variabl…
previous article↓ defpediatric.hatenablog.com Recently, I've realized that I should be using English in various situations, such as programming, working, or participating in Kaggle competitions. Starting with this article, I'll attempt to …
前回 defpediatric.hatenablog.com 最近読むの飽きてはや１−２ヶ月くらい。 9章なのにまだ半分も読めてない。分厚すぎんだよこの本。 今回は「ファイルの読み書き」 pathlib パス操作 ファイル操作 pathlib ググってコードを書いている身からするとパスの管…
" data-en-clipboard="true"> " data-en-clipboard="true"> " data-en-clipboard="true">前回 defpediatric.hatenablog.com はじめに やってみたこと 結果… 1位の解法：Less is more 前処理 モデル 学んだこと 感想 はじめに そんなこんなでとりあえずものは…
以前ディープラーニングを勉強してみたことがあったのだが、もうほとんど覚えていない。 defpediatric.hatenablog.com この本も深層学習の分野に入った。 畳み込みニューラルネットワーク(convolutional neural network;CNN) 畳み込み プーリング CIFAR10で…
言い訳 ①目的関数・制約条件の設定 ②挫折：最大流問題 ③なんかぐちゃぐちゃやってたらできた：遺伝アルゴリズム パラメータ設定 評価関数 交差 突然変異 次世代作成 繰り返し処理 ④今後 言い訳 …お久しぶりになってしまった。 言い訳させていただくと、 ①仕…
前回↓ defpediatric.hatenablog.com 前回の数値シミュレーションの続き 空間の変化をモデル化する方法 粒子モデル 粒子モデルを用いて人の動きをシミュレーションしたい場合、それぞれの個体について時間発展方程式で動きを表現するのだが、変量に対して拘束…
前回↓ defpediatric.hatenablog.com 今回は「入力検証」 入力検証とは"ユーザーが入力した値が適切かどうか調べること" try except文で出来そうだけど、PyInputPlusモジュールというのを使うと良いらしい。 PyInputPlus inputStr()：inputと変わらないけど下…
前回 defpediatric.hatenablog.com 数理最適化の種類 線形最適化 非線形最適化 二分探索 ニュートン法 組み合わせ最適化 Dinicのアルゴリズム 幅優先探索(BFS) 深さ優先探索(DFS) 数理最適化の種類 そもそも数理最適化の種類には 線形最適化 非線形最適化 組…
「AI・データサイエンスのための 図解でわかる数学プログラミング」を読むシリーズ 前回 defpediatric.hatenablog.com 今回から「数理最適化編」になる 数理最適化 ①全検索 深さ優先探索(DPS) 動的計画法(Dinamic programming:DP) ②ヒューステリック 最近傍…
前回学んだ正規表現でなんか作れないかなーと模索。 defpediatric.hatenablog.com 色々考えた結果、論文のアブストラクトをチョイみやすくする、くらいしか思い浮かばなかった。 www.nejm.jp例えばNEJMのアブストラクトを見てみると、 動脈管開存症（PDA）の…
前回 defpediatric.hatenablog.com 今回からやっと「処理の自動化」というものに入る。 その一番初めの第7章は「正規表現を使ったパターンマッチ」 、、、あんまり面白くなさそう笑 正規表現(regular expression;regex) 正規表現はテキストパターンの記述法…
前回 defpediatric.hatenablog.com 統計、機械学習ときて今回は推測統計 要は「どれくらいデータが必要か」を明らかにする方法。 今回から開発環境をPycharmからgoogle colaboratoryに変更した。 理由は医局と自宅とでやるのでドライブに保存してある方が楽…
前回 defpediatric.hatenablog.com 今回は第6章「文字列の操作」 raw文字列 クォート文字の前にrをつけると\(バックスラッシュ)を文字として扱える。 あんま使わないなと思ったけどファイルパスを書く時にいいですね。 と思ったけどパス指定する時今まで使わ…
前回 defpediatric.hatenablog.com 第２章は「機械学習」 前回の顧客データを使って機械学習を行う。 機械学習には、 クラスタリング：同じような特徴ベクトルに分類すること 分類：すでに分類されているものを分析して、新たな対象がどの分類に属するか予想…
機械学習で決定木の可視化をしたくて、dtreevizを使おうとしたら全然できなくて困った話。 やりたかったこと from dtreeviz.trees import dtreeviz# 決定木を描画viz = dtreeviz(clf, data_e, data_o, target_name='Class', feature_names=time_index, class…
前回 defpediatric.hatenablog.com 第5章 「辞書」 知らなかったことをつらつらと。 dict.get("キー", デフォルト値): キーをもちいてアクセス。キーがなかった場合はデフォルト値をとる。 >>>dict = {"A":10, "B":25, "C":11} >>>print(dict.get("A",0)) 10…
前回↓ defpediatric.hatenablog.com 今回は第4章「リスト」 よく使うよね、リスト。あんまよくわかってないけど。 ・リストの中のリスト 使ったことなかったから記載の仕方もわからなかった。 こんな感じで表せる。 >>>a=[[1,2,3,4,5],["田中","山田","佐藤"…
私は定期的に本屋さんにいくのだが(医学書買いに) 最近は医学書買わずにプログラミングの本ばかり買っている。 しかし１冊読むのに途方もない時間がかかるので、どんどん積み本が増えていく。 というわけで積み本のうち１冊を読み始める。 それがこれ、 「AI…
前回の続き defpediatric.hatenablog.com 手書き数字の画像を認識するAI作り。 DNNの仕組みはわかったけど重みづけはどうするのって話。 ・損失関数 それには損失関数が最小になる重みを決定する。 一般的なのはクロスエントロピーの誤差 正解ラベルをt、出…
前回 defpediatric.hatenablog.com 今回は第3章「関数」 なんかまだ目新しいことにはであわないので復習メイン。 グローバル文 グローバル変数とローカル変数は一緒にできないのは知っていて、関数内でグローバル変数をいじっても反映されなくてエラーが出る…
「人工知能プログラミングのための数学がわかる本」もついに最終章 最後は深層学習に挑戦。 手書きの数字を認識するモデルを作る。 今回は基本的(らしい)deep neural network;DNNを使うとのこと。 データセットは「MNIST」というものを使う。 なんか手書きの…
前回の続き。 defpediatric.hatenablog.com ロジスティック回帰 ロジスティック回帰は"回帰"なのにやってることは分類？？？ そもそも"回帰"は予測値が連続値で、"分類"は予測値が離散値。 コードで書いてしまうと一瞬。 from sklearn.linear_model import L…
前回結構苦労してMeCabをインストールした後の話。 defpediatric.hatenablog.com 自然言語処理を行うにあたって、文章を品詞分解する必要がある。 例を挙げると コンビニの糖質〜％off商品は脂質が多いことがあるからダイエット時には注意 コンビニ/の/糖質/…
前回の続き。 defpediatric.hatenablog.com ２章 フロー制御 そもそもフロー制御という言葉を知らなかった。 条件によって処理を分岐させるってことなのかな。 1.比較演算子と代入演算子 なんかあんまりちゃんと意識してなかったけど if A == 100: みたいなi…
前々から作っていたカロリー計算アプリがリニューアルしたので報告。 まず、そもそものカロリー計算に関して、 流石に活動係数1.7は盛りすぎ。 働いてて、下っ端といえど意外と座ってる時間長いし、通勤も徒歩の時間があるにしても少ない。というわけで1.5に…
えー本日は前回の続き。 「人工知能プログラミングのための数学がわかる本」の自然言語処理のところをやっていく。 今回は自然言語処理ということで青空文庫のtxtデータを使って、文学作品の作者を当てるというもの。 まずは文章の形態素解析(要は単語分割)…
前回、機械学習の勉強をしようと思ったが本が古かったのでデータセットが消滅していた。 でもググったらなんとかなった。という話をした。 defpediatric.hatenablog.comんで、その時紹介した本↓ この本での機械学習のところで、BostonHousingデータセットを…
実は4月から東北大学医療AI人材養成コースのインテンシブコースを受講することにした。 仕事をしながらオンデマンドで医療AIの勉強ができるというもの。(大学院にしっかり入学するやつももちろんある。) あと北大と岡山大学でやってるらしい。 90分くらいの…
最近いろんなコードを書いていく中で、 あれがわからない→調べる→どうにかなる ということが多い。 まぁ別にそれでいいような気もするのだが、根本的にプログラミングの基礎知識がなさ過ぎるのも現実である。 というわけで少し前に買ってからそのあまりの分…
