It on Xainome Blog

【フィッシング(phishing)詐欺をGoogleのクイズで学ぶ】｜IT × 英語力アップ／IELTS対策

Wed, 10 Dec 2025 00:00:00 +0000

English_Practice

I am learning cybersecurity in Coursera and I knew about phishing scams. I also understand malware and ransomware. Moreover, I will introduce the quiz of phishing scams by Google.

The link of quiz of phising scams

The link is this. It is japanese one but we can use English one also.

I filled in my name and mail address. I did not have to write my name and mail address. It is no problem that you use your real one. They were just used on view.

【GoogleのCybersecurityをCourseraで学ぶ】｜IT × 英語力アップ／IELTS対策

Tue, 02 Dec 2025 00:00:00 +0000

English_Practice

Overall Cybersecurity and other lessons

I applyed for free lessons of Japan re-skilling consortium before. I take some Google’s lesson for free.

However, they are a half year left because they started from June 2025 until June 2026. I already finished taking the “AI prompting”, but I do not finish taking “Cybersecurity”, “data analytics” and “AI essential”. Even though “Cybersecurity” and “data analytics” take for a long time, I want to do because of usefull.

Win11Debloat を使ってPCのパフォーマンスを多少改善する

Sat, 24 May 2025 00:00:00 +0000

Win11Debloat

たまたま見つけた記事でFreeTimeTechという企業のwindows11debloaterが紹介されていました。ただ、アプリを導入するのは少し躊躇したので調べた結果、Win11Debloatというツールに至りました。

こちらからツールの詳細を知ることができます。Githubからの導入なので多少ハードルが上がりますが、心理的なハードルは下がる気がします。

注意事項としては重要なアプリを消さないこと、効果が限定的であるかもしれないということですね。もともとあるアプリがそこまでCUPやメモリを使用してないと考えられるので、効果が限定的だと考えられます。私はこれに気づく前にやってしまいましたが…

Win11Debloat_導入方法

導入方法は簡単でpowershellまたはコマンドプロンプトを管理者権限で開き、以下のコマンドを実行します。その後、画面の指示に従って実行していきます。

& ([scriptblock]::Create((irm "https://debloat.raphi.re/")))

他の方法もありますが、そちらが良ければ確認してみてください。コマンドを実行すると以下のような画面になり、別のターミナルが開きます。

Win11Debloat_内容

ここから数字を選択します。一旦0を選んで情報を確認したほうが良いとは思いますが、面倒であれば1を選択すれば十分だと思います。

1を選択するとこんな感じで何を削除したり変えたりするのかが表示されます。問題なければ決定します。一応削除前のCPUとメモリを見てみました。こんな感じ。

2を選択するとこんな感じです。ここから更に選択して削除していきます。3を出すとリストを表示してどれを消すか選択できます。ぶっちゃけ詳しくなければやらないほうが良い気がします。重要なシステムを消す可能性がありますので。

2を選択するとこんな感じでどのようなアプリを消して変更するか選択していきます。こちらは最悪翻訳しながらできるので、面倒でなければこちらでもよいかと思います。

終わりに

終わったらボタンを押して終了ですね。終わった後がこんな感じ。正直そこまで変わった感じはしないですね。メモリは私がタブを開きすぎなので良いとして、それがあったとしても大きく変わった感じはない気がします。

とは言え少しでも軽くしたければ使うのもありだと思います。Windowsには余計なものも入ってることが多いので。気になるのであれば試してください。ではでは。

Cursorの話題に乗り遅れたけどpyxelの修正に使ってみたよ

Sun, 02 Mar 2025 00:00:00 +0000

Cursorを使ってみた

Cursorが凄いとだいぶ前に話題になりましたが、重い腰を上げてようやく使ってみました。

コードエディターとして使っても優秀ですし、テキストベースで自身の考えを整理するのにも使えそうですね。

興味を持ったのが音声入力でテキスト変換し、文字おこしした文を整理してもらうという記事です。日常的にも使えそうですし、コードの修正にも活用できそうでしたので使うことにしました。

Cursorのインストールとダウンロード

まずはインストーラーのダウンロードから。Windows、Mac、LINUXがあるので使っているPCに応じて選びましょう。

ダウンロードが完了したら、インストーラーを実行しましょう。基本的には何も変更せずポチポチ推して大丈夫です。こだわりがあれば変更するくらいですね。

Cursorの初期設定

インストールが完了したら実行して開きましょう。デフォルトのIDEはVS Codeになりますが、他のIDEを使ってる場合はそちらを選択しましょう。似たようなUIにしてくれると思います。

AIに対する言語は必要であれば選択しましょう。日本語なら"日本語"や"Japanese"で大丈夫だと思います。

Codebase-wideはプロジェクト全体を読み込ませるかどうかですね。単体のコードだけを読み込ませるなら不要だと思います。設定が完了したら"Continue"をクリックしましょう。

こちらはVS Codeを使ってると表示されます。VS Codeで使用してる拡張機能をそのまま使用するかの確認です。使うのであれば"Use Extensions"ですね。他のIDEはわかりませんが…

こちらは利用状況を送信するかの設定です。“Privacy Mode"であれば送信されなくなります。私は個人で使う分には気にならないですし、もっと発展してほしいので送信するようにしています。ただ、業務委託では使えませんが。

設定が完了したらログインが必要になります。Freeであってもですね。今のところはproにする予定がないのですが…

リポジトリのクローン

ログインが完了したら初期画面はこんな感じ。後はここからプロジェクトを開くなり、Gitからリポジトリの接続をすることになります。ちなみに日本語UIへの変更はVS Codeと同じ手順で変更できます。

真ん中のcloneをクリックするとGitからcloneすることができます。Githubの場合は8桁のコードを求められます。画面に表示されますのでそれをペーストすれば問題ありません。

初期画面はこんな感じ。拡張機能のCotinueと似たようなUIに感じますね。

freeの場合、最初の2週間はproを使うことができます。アカウントの設定画面でどれくらい使ったかを確認することができます。

Cursorを使ってコーディング

次は実際に使ってみましょう。Agent、Ask、Editを使い分けます。使い分けとしてはこんな感じみたいです。

Agent: AIが考えてコードの変更や提案をする
Ask: シンプルに質問する
Edit: コードやテキストを変更したり指示する

モデルは4oですね。モデルによってはproにするか設定を変えないとダメみたいです。

実際に実行してみるとこんな感じです。変更内容に問題なければ確定します。ちなみに動かしてみましたが、特に問題もなく動きました。リファクタリングが楽でめっちゃ嬉しい！

最後にAIに指示を出して意図通りの動きをするコードが作れるか試してみました。複雑になりすぎないように2つに分割しました。私が描いたイメージはAIが読み取ってくれるわけではないので、そこはコードをコピペして指示を出しました。こんな感じ。

少しだけ手作業で修正しましたが、ほぼ完ぺきに作ってくれました。障害物は名前から推定したんだと思います。流石に配色とその位置から形を推測するのはまだ無理だと思うので。

終わりに

ただ、正直に言うとなめてました（笑）ほぼ完璧に指示をこなしてコードを書いてくれるとは。何よりリファクタリングが嬉しいですね。もちろんこれだけのためにお試しで導入するのもありだと思います。読みやすくもなるし、今後の作業も楽になると思うので。ではでは。

Deepseekが話題なので軽く触ってみたよ

Tue, 28 Jan 2025 00:00:00 +0000

Deepseekを試した背景

英語にカマかけてAIについてほぼ触れてこなかったのですが、Deepseekは割と盛り上がってるみたいなので触ってみました。

一応、o3が出ることやCursor、Browser Use(openAIがoperatorを出してましたが…)があることは知っています。

ただ、開発をほぼやってなかったのでノータッチでしたが、今回は軽量で低コストでo1に匹敵するということで気になったので触ってみました。

とは言えDeepseekが中国産というのは知っています。どうしても不安がぬぐえない部分があったので、軽く調べて判断することにしました。

AI検索エンジンの利用状況

さて、AI検索エンジンと言われて何を使ってますか？

perplexityでしょうか？それともOpenAIのSearchGPT？あるいはGoogleのDeepResearchでしょうか？私が使っていたのはfeloになります。

feloは日本初のAI検索エンジンになります。無料でも使えますし、20個以上のソースから回答してくれます。有料になればさらに思考を深めて解答したり、マインドマップの生成も無限にできます。無料でも回数制限がありますが、使うことはできます。

Deepseekのセキュリティについて

ということでDeepseekのセキュリティ系について聞いてみました。回答としてはこんな感じ。

他のAIと同じく個人情報の取り扱いには気を付けたほうが良いが、そこ以外でデータが抜かれる可能性は低いよと解釈しました。一応ソース元を軽く見たりもしましたが、個人的に不安になるほどの内容はなかったので使ってみることにしました。

ただ、中国には国家情報法というものがあるんですね。これは知っておいてよかった気がします。今後中国産系のアプリやらサービスを使う場合はこの辺も気を付けたほうが良いとわかったので。後は中国の思想に寄ってることですね。特定の話はできないとか。とは言え日本独自だろうが米国独自だろうが多少なりともありそうな気はしてますが…

AI検索エンジンとしての性能

というわけでまずは普通に使ってみます。web版ですね。まずは登録します。私はGoogleアカウントで登録しました。今回はコード支援ツールであるContinueとClineとcursorの違いについて聞いてみました。まずはfeloでdeepthinkあり。

次はdeepseekですね。こちらも同様にdeepthinkありのsearch付きで。

こちらもかなり細かく書かれています。feloはdeepthinkを使ったうえでの結果なので、普段の検索であればこちらでもよい気がします。feloのdeepthinkは無料だと回数制限があるので。ただ、マインドマップという利点があるので、使い分けできればよさそうです。

Deepseekをコード支援ツールに導入

次はコード支援ツールへの導入ですね。一旦continueに導入してみます。まずはapiキーの発行からですね。ここからプラットフォームへログインできます。apiキーの発行手順は簡単です。キーの値だけ忘れないようにしてください。

ちなみに中国国内であれば多少のトークンが付与されます。それ以外の人はクレジットカード、デビットカードまたはpaypalの設定が必要です。というわけでtop up(トークンのチャージ)をしたら使用してみましょう！こんな感じで確認できます。

ちなみに余談ですがtop upという単語はよく目にします。カードに現金をチャージしたりするときもtop upが使われます。なので、覚えておくと海外旅行行った時も便利ですよ！

まずはcontinueに導入してみます。だいぶ昔にコード補完として入れてましたが、あまり使ってなかったですね。ということで入れてみます。

昔tabAutocompleteModelにstarcoder2:3bを使ってましたが、同じ書き方はできないので一旦コメントアウトしました。

Continueタブを開いて設定(歯車)からjsonファイルを開きます。そこにモデルとcompleteモデルの追加をすれば完了です。この設定はここから引用してきました。

    {
      "model": "deepseek-coder",
      "provider": "deepseek",
      "contextLength": 128000,
      // 替换为自己的 API Key
      "apiKey": "xxx", 
      "title": "DeepSeek v3"
    }
  ],
  "tabAutocompleteModel": {
    "title": "DeepSeek Coder",
    "provider": "deepseek",
    "model": "deepseek-coder",
    // 之前遗漏了，这块加上apiKey后tab补全才会生效
    "apiKey": "xxx", 
  },

トークンのチャージ

もし、アカウントにチャージがされていないとこんな感じのエラーが出ますので支払いを忘れずにしておきましょう。

BigQueryのテーブルのカラム説明欄に一括で追記したい！

Sat, 25 Jan 2025 00:00:00 +0000

bqコマンドを使ってカラム説明を一括入力

業務委託で副業としてやっていた仕事の内、カラムに説明を追加するというタスクがありました。

今後非エンジニアの人も使えるようにするため、カラムの意味を把握する必要がありました。そこで説明欄を埋める必要があるという流れです。

ただ、一つ一つ手作業で埋めるのは手間なのでいい方法がないか探して試したやり方ですね。ということでbqコマンドを使用して進めてみます。

まずは埋めたいテーブルはこんな感じ。カラム名はさておき、説明が埋まってないという状況ですね。

ターミナルでbqコマンド実行

まずはターミナルを開いて一旦テーブルの中を確認してみます。ターミナル自体は簡単に開けます。ここからですね。画像の左から2番目のアイコンから開けます。

コマンドは以下ですね。dataset_idとtable_idは任意で変えることになります。

bq show --format=prettyjson <dataset_id>.<table_id>

コマンドが実行されると人によっては承認が必要みたいです。承認しましょう。

テーブル確認

ターミナルに以下のように表示されます。もし説明欄に入力していると文字化けのように見えます。ただ、文字化けではなくエスケープ表示にされてます。書き換えるときも日本語で入力しても問題ないので、今は無視して進めましょう。

特に問題なさそうであればこのスキーマをjsonファイルに書きましょう。コマンドはこんな感じ。

bq show --format=prettyjson <dataset_id>.<teble_id> > <file_name>.json

こうするとローカルのフォルダにjsonファイルが格納されます。コマンドを実行したらファイルを確認しましょう。ターミナルのエディタを開くから確認することができます。

中を開くと初期ファイルと作成したjsonファイルがあります。作成したjsonファイルを開いてみます。

ファイルを開くとターミナルで確認したような文字列があります。後は同じように説明を追加します。エスケープ表示ですが日本語に変更してみました。それからfieldsの中身のみが必要になります。[]の中身だけ取り出しましょう。

bqコマンド_カラムの説明欄更新

ではこのjsonファイルを使用してカラムの説明欄を更新してみます。コマンドは以下

bq update --source <file_name>.json <dateset_id>.<table_id>

更新が完了したら"successfully updated.“と出るので確認してみましょう。特に問題なければこれで完了になります。

終わりに

当初はgcloud alphaというコマンドがあり、そちらを使おうと思ってました。

ただ、いいやり方が見つからず従来のbqコマンドとファイルの編集を利用したやり方を採用しました。

最近AIのニュースを見てはいたのですが、全く触ってないので何かやってみたいですね。ではでは。

Pyxelを使って簡単なゲームの作成を試してみたい！part3

Mon, 30 Dec 2024 00:00:00 +0000

前回 pyxeleditorを使ってサウンドを作って動かすところまでやってみました。

スコアとゲームオーバーの実装

スコア表示の実装

今回はゲーム性を持たせるところですね。やることはスコアの作成とゲームオーバーの作成ですね。まずはスコアの作成をしていきます。コードとしてはシンプルです。

class Scrolling_Game:
    def __init__(self):
        …
        self.score = 0
        …
    def draw(self):
        …
        pyxel.text(5, 5, f"Score: {self.score}", 1)

textの後の引数はx座標とy座標。後はテキストとカラーパレットですね。カラーパレットはドット絵と同じで0が黒、7が白になります。

さらにスコアについては特定のアイテムを取った時にプラスしていきたいので、変数にしています。ただ、固定ならテキストを入力で問題ないですね。表示させるとこんな感じ。左上にスコアが出ています。

スコア増加の実装

次はどうやってスコアを増加させるかですね。シンプルな方法でアテイムを取ったら増加するという方法でやろうと思います。

というわけでアイテムを書きました。ハチミツの壺ですね。「ハチミツ食べたいな～」でおなじみの奴です。

他にもいろいろ描いてますが、将来的に使いたいなーと思って描いたやつです。気にしないでください（笑）

それから出現をランダムで出したいと思います。ここもそこまで難しくないですね。初期変数をランダムに設定し、draw関数でランダム変数を設定する感じですね。以下のコード

import random

class Scrolling_Game:
    def __init__(self):
        …
        self.item_x = random.randint(0, 120)
        self.item_y = random.randint(0, 120)
        …
    def draw(self):
        pyxel.blt(self.item_x, self.item_y, 0, 8, 24, 8, 8, 0)

当たり判定の実装

これでランダムに出現するようになりました。ただ、初期配置でランダムになるだけで取得もできないし、スコアも変わらないです。なので、次は取得して配置を変え、スコアを上げるコードを書いていきます。

class Scrolling_Game:
    …
    def update(self):
        …
        # 当たり判定
        if (self.char_x < self.item_x + 8 and 
            self.char_x + 16 > self.item_x and
            self.char_y < self.item_y + 8 and
            self.char_y + 16 > self.item_y):
            self.score += 100
            self.item_x = random.randint(0, 120)
            self.item_y = random.randint(0, 120)
    …

これで当たり判定とスコアの上昇、アイテムの再配置を行いました。動かすとこのような感じですね。

Pyxelを使って簡単なゲームの作成を試してみたい！part2

Fri, 27 Dec 2024 00:00:00 +0000

pyxeleditorでキャラの動きやサウンド

前回 pyxelのインストールからドット絵を描いて表示させるところまでやってみました。今回は実際にキャラクターを動かしたり、サウンドを作ったりしたいと思います。

pyxeleditorで作った部分

実際に動いた画面がこちら。

コードの中身_init

一旦各コードを簡単に見ていこうと思います。まずは__init__内ですね。前回も話したのでざっくりと見ます。

pyxel.init(128, 128, title='Scrolling Game')
pyxel.load('assets/scroll_game.pyxres')
self.char_x = 50  # キャラクターのX座標
self.char_y = 50  # キャラクターのY座標

initで画面サイズの設定、char_xとchar_yはキャラ座標を設定しています。loadでpixel editで作成したものをロードしています。ドット絵、タイルマップ、サウンドなど全て一旦ロードしています。

self.char_frame = 0  # 表示する画像のインデックス (0 または 1)
self.frame_count = 0 # フレームカウンター
self.is_moving = False  # 移動中フラグを追加
self.last_input = False #直前のフレームでキー入力があったか
pyxel.run(self.update, self.draw)

他のコードはコメントも記載していますが、キャラ画像の入れ替えやフラグの設定をしています。後はpyxelの起動ですね。

コードの中身_update

次はupdate関数ですね。

# ゲーム中断
if pyxel.btnp(pyxel.KEY_Q):
    pyxel.quit()
# キー入力と移動処理
self.is_moving = False
key_pressed = False # 今のフレームでキーが押されているか

Qを押したらゲームを中断します。それからフラグとキー入力の初期設定をしています。

# キー入力処理とキャラクターの移動
if pyxel.btn(pyxel.KEY_LEFT):
    self.char_x -= 1
    self.is_moving = True  # 移動中フラグを立てる
    key_pressed = True
if pyxel.btn(pyxel.KEY_RIGHT):
    self.char_x += 1
    self.is_moving = True
    key_pressed = True
if pyxel.btn(pyxel.KEY_UP):
    self.char_y -= 1
    self.is_moving = True
    key_pressed = True
if pyxel.btn(pyxel.KEY_DOWN):
    self.char_y += 1
    self.is_moving = True
    key_pressed = True

ここでは各方向キーを入力した時の設定をしています。上下左右分書いてるので記述は多いですが、内容はシンプルです。キャラクターの座標をずらして、フラグを書き換えています。というか関数化したほうがもっとシンプルになりますね…

Pyxelを使って簡単なゲームの作成を試してみたい！part1

Sat, 21 Dec 2024 00:00:00 +0000

Pyxelでゲーム開発入門

ゲームを作成するのであればUnityやUnreal Engineが有名です。それとは別にpythonでコーディングができるpyxelがあります。

pyxelはレトロゲームエンジンになります。ファミコンのようなドット絵スタイルのゲームしか作れませんが、pythonを知ってる人にはちょうどいいかもしれません。

開発環境の準備

pythonを導入している前提ですが、少し進めていきたいと思います。基本的にはREADME通りに進めていけばよいと思います。まずはライブラリのインストールを進めていきます。

pip install -U pyxel
私の例: py -3.10 -m pip install -U pyxel

-Uがないとエディター画面が出ないので忘れずにつけましょう！その後は参考のためサンプルを導入するのもよいと思います。なくても特に問題はありません。

pyxel copy_examples

基本的なコード構造

そうすると簡単なゲームやガイドなどが入ってます。これを理解できれば基本的なコードは書けるようになると思います。基本的なコードはこんな感じになってます。

import pyxel

class App:
    def __init__(self):
        pyxel.init(160, 120)
        self.x = 0
        pyxel.run(self.update, self.draw)

    def update(self):
        self.x = (self.x + 1) % pyxel.width

    def draw(self):
        pyxel.cls(0)
        pyxel.rect(self.x, 0, 8, 8, 9)

App()

クラスの中に__init__関数とupdate関数とdraw関数があります。__init__関数では画面サイズの指定や各関数の実行ができます。

update関数ではキー入力や画面の切り替えを行う関数になります。update関数がメインになりそうです。もちろんupdate関数だけじゃなくて新しく関数を作っても問題ないです。キャラクター用や画面用などいろいろ作ると使い分けが楽になると思います。

draw関数では画面やキャラクターの描画を行います。エディター画面で作成した背景やキャラクターを呼び出したりします。

ドット絵とタイルマップの作成

というわけでまずはドット絵とタイルマップの作成からですね。ちなみに私は絵心は全くないので、大したものは書けません。所謂味がある絵みたいなイメージですね…コマンドは以下になります。

pyxel edit "絶対パス"
例: pyxel edit "C:\pyxel\assets\game.pyxres"

コマンドは相対パスだと開かないので気を付けてください。一応実行しているフォルダーに移動してファイル名のみ指定しても問題ありません。

こんな感じで蜂A、蜂B、空、草原、岩のタイルを用意してみました。適当ですが苦手なりにそれっぽくできた気がします。まずはタイルマップの作成をします。左上のエディターからタイルマップを選び、書いたタイルを指定して書いていきます。

タイルマップへのキャラクター表示

今度はコードを使ってタイルマップにキャラクターを表示してみます。

AIVMGeneraterでAivisSpeechでも使えるようにしたよ！

Wed, 18 Dec 2024 00:00:00 +0000

AIVMGeneraterを使えるようになるまで

前回Style-Bert-VITS2を使って音声合成モデルを作りました。今回は作ったモデルをAivis Speechでも使えるようにしようと思います。

AIVMGeneraterでは自作した音声合成モデルをAivis Speechで使えるようにします。以前までは音声合成モデルさえあればAIVMGeneraterで変換できるようになってました。しかし、今は使えなくなってます。そのため、.onnxファイルを作って変換する必要があります。

ただ、Style-Bert-VITS2を使えるのであればできますので諦めずやっていきましょう！

Style-Bert-VITS2をdevブランチへ切り替え

まずはStyle-Bert-VITS2をdevブランチへ切り替えます。デフォルトだとmainブランチになってますので、これをdevブランチへ切り替えます。ターミナルからコマンド実施でもよいですが、VSCodeを使っているのであれば以下の方法で切り替えて実施できます。

まずはGitのタブを選択しましょう。それからソース管理の設定から"チェックアウト先"を選択します。

そうすると真ん中あたりにこんな感じでブランチやリモートブランチが出てきます。ここからorigin/devを選択しましょう。

onnxファイルの作成

そうすると中のファイルなどが変わっていると思います。以下を確認してみましょう！

“convert_onnx.py"が存在しているかどうか
requirements.txtにonnx系のライブラリが記述されているかどうか

上記が確認出来たらrequirements.txtで一括再インストールをしてconvert_onnx.pyを実行しましょう。私の環境でのコマンドだと以下のような感じですね。この辺は適宜自身の環境に合わせて変えてください。

py -3.10 -m pip install -r requirements.txt
py -3.10 convert_onnx.py --model model_assets/{モデル名}
例：py -3.10 convert_onnx.py --model model_assets/10minmodel

そうするとモデルファイル内に.onnxファイルができてると思います。モデルごとにできるので少し容量を使っちゃいますが…

AIVMGeneraterの設定

.onnxファイルが出来たらこちらのページからAIVMGeneraterを使います。使い方はシンプルでモデルに関するファイルをアップして、サンプルボイスもアップして変換するだけです。

メタデータ編集では製作者や説明を記載出来ます。この辺はなくても大丈夫です。私は一応記載しましたが。それからモデルの公開ですね。今回は公開しませんが、公開したい場合はライセンスを選びましょう。

ACML 1.0 と ACML-NC-1.0 の違い営利目的の利用を許可するかどうかです。ACML 1.0は許可しますが、ACML-NC-1.0は非営利目的のみとなっています。パブリックドメインは著作権フリーで、カスタムライセンスはライセンスを自作することになります。

ACML 1.0かACML-NC-1.0のどちらかを選べば特に問題ないかと思います。

それからアイコン、スタイル説明、サンプルボイスを追加しましょう。サンプルボイスは実際にモデルを使った時の音声を貼っておきます。

アイコンはデフォルトだと卵型の形になります。公開する場合は設定しておきましょう。スタイルは何もなければノーマルになります。公開するスタイルに合わせて書き換えましょう。

設定が完了したら、変換をします。そうすると変換が完了したファイルがダウンロードされます。許可を求められた場合は許可しましょう。

Aivis Speechへの取り込み

ダウンロードが完了したら、Aivis Speechに取り込みます。まずはAivis Speechを起動します。“設定” > “音声合成モデルの管理"を選択します。そしたら右上の"インストール/更新"を選択して.aivmxファイルを選択します。

ファイルを選択したら右下の"インストール/更新"を選択しましょう。このような画面になったらインストール完了です。後は自由に使えるようになります。

終わりに

今後ですがもう少しモデルの作成を試してみたいなと思います。10minmodelを作りましたが、お試しで作った物なので。使ってみた感じつまずいたり、うまく喋れてない部分がありました。なので、データの再集録からですね。

それからスタイルもいくつか使ってみたいですね。本来Audibuleスタイルで作りましたが、せっかくなら感情表現もできるキャラクター用も作ってみたいですし。

ここまでできれば色んな音声合成モデルを作れるようになります。皆さんもぜひ試してみてください。唯一の難点はローカルでモデル作成しているときPCが使えないということですね。Colabを使えばいいと思いますが、あれだと数日かかりそうですし。ではでは。

音声合成モデルをStyle-Bert-VITS2を使って作ってみたよ

Sun, 15 Dec 2024 00:00:00 +0000

音声合成モデルの作成

前回Style-Bert-VITS2を試しに使ってみることをやってみました。今回は実際にモデルを作ることをやろうと思います。

まずは音声の収録ですね。こちらに関しては自身でいろいろ試してみるしかないですね。とりあえずノイズキャンセリング付きや単一指向性マイクなどがいいかもしれません。後は収録時に詰まったり、変な発声になったりせず滑らかに読むことですね。無音は多少なっても大丈夫なので。

次に音声データセットの作成です。こちらは前回やったので飛ばします。収録した音声を勝手に10秒程度に切り分けてくれますので。

文字おこし時のエラー対処

私は文字おこしで以下のエラーが出たので"pip install tf-keras"で対処しました。

RuntimeError: Failed to import transformers.models.whisper.modeling_tf_whisper because of the following error (look up to see its traceback):
Your currently installed version of Keras is Keras 3, but this is not yet supported in Transformers. Please install the backwards-compatible tf-keras package with `pip install tf-keras`.
. エラーメッセージが空の場合、何も問題がない可能性があるので、書き起こしファイルをチェックして問題なければ無視してください。

その次はこのようなエラーが出ました。

site-packages\transformers\pipelines\audio_utils.py", line 37, in ffmpeg_read
    raise ValueError("ffmpeg was not found but is required to load audio files from filename") from error
ValueError: ffmpeg was not found but is required to load audio files from filename

その場合は以下の手順で対応しました。私はwindowsかつVS Codeなのでmacとかは別になります。Gitでクローンする方法でも大丈夫です。

StyleBertVITS2を使って自身のデータセットを作成してみるよ

Mon, 02 Dec 2024 00:00:00 +0000

前回Aivis Speechを触ってみたので自身の音声合成モデルを作ってみたいなと思い調べてみました！StyleBertVITS2は音声合成がメインになると思います。他にも学習やデータセットの作成もできます。というわけでStyleBertVITS2を使っていきます！

StyleBertVITS2のインストール

というわけでまずはStyleBertVITS2のインストールからですね。基本的にはGithubに載ってますのでその通りで問題ないと思います。

ただ、私は仮想環境作るのが面倒なタイプでpythonのversion別(3.10と3.12)でしか管理してないのでそれに合わせたコマンド使用しています。プロジェクトが複数存在しないのであれば、使わなくていいかなと思う派です。思想は人それぞれなので。

# 各種ライブラリのインストール
git clone https://github.com/litagin02/Style-Bert-VITS2.git
cd Style-Bert-VITS2
py -3.10 -m pip install "torch<2.4" "torchaudio<2.4" --index-url https://download.pytorch.org/whl/cu118
py -3.10 -m pip install -r requirements.txt
# モデルのダウンロード
py -3.10 initialize.py
# エディター画面の表示
py -3.10 server_editor.py --inbrowser
または
py -3.10 app.py

StyleBertVITS2_server_editor.pyの実行

server_editor.pyを実行した場合は以下のような画面になります。その前に利用規約に同意しましょう。特に性的や政治的、フェイク系はやめましょうという感じですね。

この辺は音声合成モデルを使用するという感じですね。やってることはAivis Speechと同じような感じだと思います。

StyleBertVITS2_app.pyの実行

こちらではモデルの作成などは出来なさそうなので、もう一方のプログラムを実行してみます。app.pyのほうですね。

こちらであればデータセット作成、モデルの学習、マージもできそうなのでこっちを使ってみます。

スタイルの作成方法

まずはスタイルの作成をする必要がありますがデータが必要になります。必要なデータは1時間ほどあれば十分だと思いますが、数十分でもできそうな気はしています。試してないので何とも言えませんが…

もし10秒程度のwavファイルが360個ほどあれば十分なのでその時はスタイルの作成を行ってください。説明にもありますが、Dataフォルダとは別で配置しておくとスタイルの管理も楽なので別フォルダを作っておくと良いかもしれません。1スタイルなら適当な配置でもよさそうです。

wavファイルの準備

次はデータセットがない場合ですね。もし自身の声を使用しない場合はどこからかwavファイルをダウンロードする必要があります。状況によっては環境音や音楽を削除するなどの対応も必要かと思います。ただ、今回は自身の声で作成する想定なのでこの工程は省きます。

もし、細かい音声データを大量には持ってないけど、数十分~1時間のwavファイルがある場合はデータセットの作成を行いましょう。

データセットの作成

まずはinputフォルダにデータを入れます。録音などの環境がまだ整ってないので一旦前回使用したwavファイルを使ってみます。

次はモデル名を決めましょう。私はまだ本格的にやらないので適当に"test"にしました。秒数の設定などは一旦デフォルトにしています。この辺は好きなように設定すると良いです。“成功すればスライスが完了しました。“というメッセージが出て所定のフォルダに出力されます。

大体10秒近くの音声ファイルが出力されます。これでスタイル作成の準備が整ったのでスタイル作成をして学習という流れになります。

終わりに

ここまで書いてきましたが、私の方でまだデータの準備ができていません。

一人で話して録音する分には問題ないです。ただ、マイクがゴミだったのでまともなマイクを使って収録したいと思います。

AI音声合成のAivisSpeechを触ってみたよ！

Fri, 29 Nov 2024 00:00:00 +0000

まずはAudibleという形でこの記事を読み込ませてみました。今後も活用してみようと思います。

AivisSpeech とは？

DMMのにじボイス(旧:DMMボイス)でいろいろ騒がれていたところに商用利用もできる無料のAI音声合成が出ていました。

Aivis ProjectのAivisSpeechですね。他のプロジェクトもありますが、一旦試しで使ってみる場合はAivisSpeechになると思います。

AivisSpeechのインストール方法

というわけでまずはダウンロードしてみましょう！ダウンロードする場合はWindowsとMacがあります。私はWindowsなのでこちらのインストーラー版をダウンロードしてきます。

インストーラーを実行しようとするとワーニングの表記が出ます。元のHPにも書かれていますが、コード署名はまだ行われていないようです。一旦開発をガシガシ進めて、余裕が出来たらコード署名もやるとは思います。今回はこのまま実行していきます。

インストールが完了したら実行しましょう。途中でダウンロードするファイルがありますが、不要であれば削除しても問題ありません。私はチェックを入れて特に問題なかったので。

起動するときと喋らせるときは時間がかかることがあります。この辺はPCの性能にもよりますので、人によっては数秒以上かかることもあるかと思います。

ライセンス情報に同意して始めましょう。内容を確認したほうが良いですが、著作権や商用、個人情報について書いてはないのでそのまま続けましょう！

ポリシーは自由にしてもらって大丈夫です。私は基本的により良くなっていってほしいので許可することは多いです。ただ、拒否しても問題ありません。

音声合成

ダウンロードが完了したら試しに文字を打って実行してみましょう。PCによっては多少時間がかかるかもしれませんが、数秒で応えてくれます。デフォルトだとこんな感じですね。

右側の和側やテンポなどを変え、アクセントも少し変化させてみます。右側の喋る部分についてはプリセットで登録できますので、好みの話し方を模索すると良いと思います。こんな感じ。

音声の書き出しと読み込み

話し方を決めて話す内容を決めたら音声を書き出してみましょう！“音声書き出し"だと段落ごとに出力されますので、それが嫌な場合は"音声をつなげ書き出し"を行います。出力時の拡張子はwavファイルになります。

また、書いた内容をテキストファイルとして出力することもできます。逆に書いた内容がテキストファイルとして存在していれば読み込むことも可能です。

そしてプロジェクトを保存すればいつでも同じ話し方と話す内容で作業することができます。

それからモデルによってはスタイルがあります。このスタイルはアイコンをクリックすることで変更することができます。デフォルトだと6種類ですね。

設定などの変更について

後は設定もいろいろ変更できます。基本的にCPUでも動かせますがGPUでも動かすことができます。それから保存先です。ここを設定しておくと保存が楽になるのでやっておくとおすすめです。

もし、他の操作でわからない点や気になることがあればヘルプを見ることをおすすめします。ルビを振ったり、メモを残す方法などもありますので興味があれば一読すると良いと思います。

終わりに

他の音声モデルについてはこちらから確認することができます。ただ、今はあまり多くないのでここから選択するか、待つか、自分で作ってみるのも手だと思います。作るのは大変そうですが…

次はモデルを作ってAivis Speechに取り込むまでをやってみたいですね。ではでは。

pCloudがセールをやってたので購入してみたよ！

Sun, 17 Nov 2024 00:00:00 +0000

pCloud 3in1バンドルのレビュー

pCloudがブラックフライデーセールをやっていたので購入してみました。以前から気になっていたのですが、このタイミングのセールがよさそうだったので待ってました。

購入したもの

今回買ったのは3in1バンドルですね。内容は以下

ストレージ5TB
セキュリティ性が高いEncryption
パスワード管理サービスのPass Premium

pCloudのセール価格について

値段は599$、現在は154円/$なので大体9万2千円ですね。最初のコストが高いですが、99年使えるのでサブスク換算だとかなり安くなります。

その他の値段を見ると以下の金額。

1TBだと199$
2TBだと279$
10TBだと799$

例えば1TBを買った場合、月26円ぐらいで1TBのストレージが使えます。もちろん写真以外にも動画、音楽、ドキュメントファイルなどなんでもよいですね。

注意してほしいのがこの会社が潰れないということが前提ですね。潰れない限りは日がたつことにどんどん安くなっていくイメージですね。

AWSやGoogle Cloud、iCloudは月間のサブスクなので、これらを使っているのであれば一考の余地ありという感じです。

実際に触ってみた感想

実際に使ってみた画面がこちらですね。「Automatic Upload」には自動でアップロードされたファイルがあります。こちらはwebで見た画面です。

アプリもありますので必要であればダウンロードしましょう。PC版モバイル版ありますのでファイルの同期をしてみます。

ちなみにPC版のアプリは画像のように各フォルダー別にバックアップをすることができます。

他のフォルダも同期から選択することができます。

CryptoフォルダはEncryptionサービスになります。見られたくないものや大事な書類を入れておくものに使ったりします。ただ、個人で使う場合は個人情報ぐらいしか思いつかないですね。プログラムならprivateでgit管理しそうですし…

pCloud Pass Premiumについて

もう一つPass Premiumというサービスを買いました。これはパスワードの管理ですね。こちらもWeb版アプリ版モバイル版で使うことができます。

ログインするとこんな感じです。色んなブラウザやパスワード管理ツールが出てきます。私はChromeを使ってるので実際にインポートしてみます。

Chromeのエクスポート方法

Chromeの場合は右上の縦三点リーダーから"設定" > “パスワードと自動入力” > “Googleパスワードマネージャー"を選択します。

パスワードマネージャー画面から"設定"を選び"パスワードのエクスポート"にある"ファイルをダウンロード"をクリックします。そうするとcsvファイルがダウンロードされます。

ファイルのインポート他

ダウンロード後はpCloud passからChromeを選び以下の画面にファイルをアップロードします。内容を確認して問題なければ"選択内容をインポート"をクリックします。

もし他のブラウザやパスワード管理ツールを追加したければ"追加"をクリックして同様の手順で設定すれば問題ありません。

ちなみにGoogle Driveやフォトのバックアップができますが、1アカウントだけみたいなので複数のアカウントに分けてる場合は別の方法が必要そうですね。

ざっくりpCloudはこんな感じですね。5TBもあるのである程度動画を入れても問題なさそうです。以前動画を作ったことがあるという話をしたのですが、それを全部突っ込んでチャンネル爆破でも楽しそうですね。

お得なキャンペーンをやってるらしい

最後に対象のサイトからpCloudの商品を買えばアマギフがもらえます。もちろん買う商品によって値段は変わりますが、1割弱戻ってくるのでお得です。

もしpCloudを購入したらエントリーしましょう。

姓名とメアドを記載したらエントリー完了です。ただ、調査がセール終了後になりますのでアマギフ送付が正月くらいになるみたいです。

最後に

とは言えストレージはそんなに要らなければ買う必要はないと思います。強固なフォルダーもあまり使わなそうですし、パスワード管理は代用がいくらでもあるので。私は将来的にあると使えるかな？程度で買ったので興味とお金に余裕があれば試してみてください！ではでは。

簿記の勉強を暇なタイミングやる！世界でも使えそうかも？

Sat, 26 Oct 2024 00:00:00 +0000

簿記を始めたのはなぜか？

前回のブログでゲームに飽きてきたという話をしました。というわけで勉強をしようかと思います。

簿記に挑戦：コースについて

プログラムの勉強もいいんですが、普段＋副業でもやってるので変わった勉強をしたいなと思いましした。そこでこのサイトですね。アカウントを登録すると使えるようになります。

色んなコースがありますが、メインは簿記だと思います。問題集の解説もありますので、試験勉強だけでも使えると思います。他のコースは今のところ興味がわかないので無視します。

まずは簿記3級ですね。簿記2級を1つ見てみたんですが、簿記3級の知識を前提に話を進めていたので。

簿記に挑戦：教材の活用

それから動画だけでなく教材もあります。紙媒体ではなくpdfですが。コースを見ると左のタブに講義、右のタブに教材があります。ここからダウンロードできますので、欲しければダウンロードしてみてください。

さて、動画見て教材見て手を動かしながらやるのが勉強としては一番の近道だと思います。

進めていきながら時々忘れていることがあれば、立ち止まってなるべく思い出すまで考えて、どうしても出なければ復習するという感じでやるのがいいかなと思います。

ただ、私はITに従事する者です。これだけではわからないことがあった際に聞けないこともあるなと感じました。

NotebookLMを使ってサポート

というわけでNotebookLMの出番です。実は最初Difyを使おうとしたのですが、15MBという制限がありましたので変更しました。勉強したいpdfを全てぶち込んでみましょう。

一旦概要と用語集を作ってみました。

作り方はシンプルでチャットに「教科書から概要を作成してください」や「教科書から用語集を作成してください」と入力します。

そうするとpdfを読み取って作成してくれます。それをメモに保存するという流れになります。作成されたチャットの下部に「メモに保存」があるのでそれをクリックすれば作成されます。

NotebookLMの活用法

大体概要や用語集を作れば困ることは少ないかと思いますが、動画内の説明でわからないことがあれば質問すると答えてくれると思います。あるいはこんな感じで質問の方法を出してくれることもありますので。

もう一つ有効活用としては類似問題の作成ですね。「問題集を見て似たような問題を3問作成してください。」と言えば3問類似問題を作成してくれます。一応「解答を作成して下さい」と言えばそちらも作成してくれます。

とは言え全て正確か？という言われるとわかりません。特に類似問題を作成した後の解答などは怪しいかもしれません。LLMを使うときは当たり前ですが、鵜呑みにはしないようにしましょう。時には教材を見直すことも必要なので。

Courseraでさらに深い学びを

今は空いた時間でやってるところなのでこの勉強をしていますが、仕事を辞めた直後ぐらいであればCourseraで勉強しようかと思います。こちらですね。

ここはほぼIT系の勉強になりますが、認定証ももらえますし、コースによっては海外大学の証明書ももらえます。もちろん有償ですが…

ただ、コースの認定証だけなら7日間の無料トライアルがあります。この期間に1つぐらい取りたいなと思ったので空いた時間にやってみようと思います。ではでは。

llma-cpp-pythonを使って今更ローカルでLLMを動かしてみるよ！

Fri, 11 Oct 2024 00:00:00 +0000

llama-cpp-pythonのインストールとセットアップ

前回Github copilotをを使わず、vscodeでAIを動かしてコードを頼むようにしてみました。

そこでローカルでllama3.2:3bが動かせるなら他のモデルでもいけるのでは？ということが気になって調べて動かしてみました。

githubのライブラリはこちらになります。

というわけでまずはライブラリのインストール

pip install llama-cpp-python

こちらはcpu対応になります。もしエラーが出たら下のほうも試して見てください。私はvisual sutadioが入ってるので特に問題はありませんでした。

pip install llama-cpp-python \ --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu

gpuを使いたい方はいろんなインストールパターンがあるので試して見てください。CUDAであればこんな感じ

pip install llama-cpp-python \ --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cu121

ダウンロードしたモデルの紹介

ライブラリのインストールが完了したら今度はモデルをダウンロードしてきましょう。配置場所はどこでも構いません。

私は今回2つのモデルをダウンロードしてきました。

sakanaAI: https://huggingface.co/mmnga/SakanaAI-EvoLLM-JP-v1-7B-gguf

gemma: https://huggingface.co/alfredplpl/gemma-2-2b-jpn-it-gguf

llama-cpp-pythonを使ってコードでのモデル呼び出し

インストールが完了したら実際にコードに書いていきます。一旦こんな感じ

from llama_cpp import Llama

prompt = "(12+50)*30/5-6*(38-19) この計算結果は何？"
sakana_llm = Llama(model_path="./models/sakana/SakanaAI-EvoLLM-JP-v1-7B-q4_K_M.gguf")
gemma_llm = Llama(model_path="./models/gemma/gemma-2-2b-jpn-it-Q4_K_M.gguf")

sakana_response = sakana_llm.create_chat_completion(
    messages = [
        {
            "role": "user",
            "content": prompt,
        }
    ]
)

gemma_response = gemma_llm.create_chat_completion(
    messages = [
        {
            "role": "user",
            "content": prompt,
        }
    ]
)

print(sakana_response["choices"][0]["message"]["content"].strip())
print(gemma_response["choices"][0]["message"]["content"].strip())

llama-cpp-pythonを使った実行結果と考察

それからどのくらい時間がかかるか気になったので計測してみました。ちなみに私の環境ではこんな感じで時間がかかっています。

Github Copilotを使わずVSCodeにContinueを入れて使ってみる

Mon, 30 Sep 2024 00:00:00 +0000

無料で使えるAIツール「Continue」でVSCodeにAIコード補完機能を導入する方法

Github Copilotが出てだいぶ時間が経ちましたが、IDEで未だにAIを使わず開発をしています。

Github Copilotは料金がかかりますし、open-interpreterを使ったとしてもopenAIのapiを使ってるので料金はかかります。

結果ほぼIDEでAIを使わずやってきたのですが、最近Continueが出たということを聞きました。こちらはllamaなどのオープンソースを使ってるので、料金はかからなそうです。参考にした記事はこちらになります。Continueのサイトはこちらです。llamaの使い方はこちら。

Continueのインストール手順

というわけでまずはインストールしてみます。

インストールが完了すると左のタブに表示されます。モデルの選択でどのモデルを使用するか選ぶことができます。

Llamaモデルのダウンロードと設定

チュートリアルに従って次はllamaをダウンロードします。こちらですね。最近llama3.2が発表されたので3.2になってますね。3.1が良ければこちらからダウンロードできます。

次にOSを選んでダウンロードしましょう。もしモデルのアップデート通知が欲しければアカウントを作って登録すると良いと思います。ニュースになるので今はやらなくてもいいかと

ターミナルでモデルを実行

実行ファイルがダウンロードされるので開いて案内に従っていきます。インストールが完了すると実行ファイルなどが入っています。実行するとコマンドプロンプトから実行してくださいと言われます。

というわけでターミナルを開いて以下のコマンドを実行します。チュートリアルでは3.1:8bとなってますが、今回は3.2:3bを使用します。

ollama run llama3.2:3b

大きなモデルの利用（任意）

一応チュートリアルではGroqとtogetherなどのサイトのAPIを使えば大きなモデルも使うことができるみたいです。ただ、料金などもかかりますので今回は省きます。

Continueのモデル設定とconfig.jsonの編集

最初のモデル選択の部分でFree Trialのモデルを使えます。こちらを使う場合はGitHubにサインインする必要があります。今回はllamaをインストールしたのでlocal modelを使うことになります。

次はconfig.jsonを編集していきます。llama3.1を使う場合はこの"Add Chat model"から設定できますが、今回は3.2なのでconfig.jsonを直接編集していきます。Free Trialが不要であれば削除しましょう。編集する際は歯車を押せばconfig.jsonを開きます。

エラー対処とモデルの接続

文字を入力してみましたが、エラーが出ました。大元のモデルは動いてますが、チャットモデルも必要みたいです。オートコンプリートモデルはコーディングをするとき予測して文字を補完するモデルです。というわけでpullしてみます。

コマンドのターミナルをクリックすればターミナルにコマンドがコピーされますので、pullしましょう！もしこんなエラーが出たらおそらくVSCodeがポートを使用しているのでターミナルから実行してみてください。

Error: Head "http://127.0.0.1:11434/": dial tcp 127.0.0.1:11434: bind: An operation on a socket could not be performed because the system lacked sufficient buffer space or because a queue was full.

両方のモデルをpullすれば無事接続ができます。接続した際、llama3.1のモデルがconfigに追加されます。まあtitleやmodel名は違いますが消しても大丈夫です。接続できたことを確認できれば、初めのconfigで設定したモデルを使用できるようになります。

Continueを実際に使ってみる

というわけで使えるようになりました。もちろんChat-GPTやCloudeのほうが性能がいいと思います。ノートPCで使えるローカルモデルではないですし。ただ、ネットにつながず軽量なモデルだとは思いますのでもう少し試してみようと思います。

機械学習の無料講座をGoogleが出しているので受けてみたよ

Sat, 14 Sep 2024 00:00:00 +0000

E資格合格後に再学習を決意した理由

E資格を合格した後復習とか出来てないので、改めて学びなおしてみようと思ったのがきっかけになります。こちらから受けることができます。必要に応じて日本語に切り替えることもできます。

生成AIの進歩もありそれにまつわるような部分もあるので、ぜひ理解を深めたうえで使っていくと良いと思います。

機械学習講座の学習ツールとインターフェース

タブに基礎コースと上級コースがあるのでまずは基礎コースからやってみました。

初めの内容としてはこんな感じですね。

右タブに情報とチャットとAPIがあります。

情報はこのページの目次ですね。チャットは生成AIを使って質問することができます。わからないことがあったら随時聞いてみるといいと思います。サービスの同意をしたら試してみましょう！

APIを使えばデータを見ることができます。一覧はこちらにあります。今回は一旦無視しますね。

理解度チェックとインタラクティブな学習

目次の項目によっては理解度チェックがあります。下の画像の場合は三択から1つ選んでクリックすることになります。日本語だと微妙な部分もありますので、英語で見てみるのも手ですね。

正解の選択肢では説明を見られるものもあります。間違った場合は別の選択肢をクリックしましょう。間違ってもペナルティがあるわけではないので、ミスは気にせずページをよく読んで解答するとよいです。

動画コンテンツでの学習補助

さらに動画もあります。概要の説明をしているので興味があれば見てみてください。英語説明ですが画面を見てるとなんとなくわかるので、必要であれば字幕を付けるなどして見てください。

基礎講座だけでも十分機械学習について学ぶことができます。一応上級講座も見てみました。

基本的に変わりませんが、前提知識や実装経験が必要になってきます。

なのでまずは基礎で十分理解と実装経験を積んでから上級に行くことをおすすめします。

機械学習のプログラミング演習活用

講座を進めていくとプログラミング演習を実施することもできます。英語なので必要に応じて日本語訳してみてください。

機械学習講座後のバッジとプロフィールの公開

学習が終わってチェックテストをクリアするとバッジをもらうことができます。お気に入りを5つまで設定できるので、いっぱい集めてみようと思います。

プロフィールを公開すれば他の人にも見られるようになります。転職等で使えるんですかね？

今後の学びと実践に向けた決意

機械学習には教師あり、教師なし、強化学習、生成があります。本来全てやることは少ないかと思うので全て学ぶにはかなり時間がかかると思います。

ただ、これが理解できればどのようなデータが仕事に使えるかわかるようになります。また売上予測や顧客分類、キャンペーンの効果も見える部分が出てくると思います。

しっかり学んで実際のデータで試してみれば学習の実感が出てくると思うので頑張っていきましょう！私も再度学びなおして理解を深めていきます。ではでは。

人間っぽいふるまいをするスクレイピングを検討した話

Fri, 30 Aug 2024 00:00:00 +0000

前提：利用規約に違反しないこと

前提として利用規約に違反する行為はやめたほうが良いと考えています。

法的に訴えられても文句は言えないですし。

多くの人が利用しているamazonなども利用規約で禁止しているので、スクレイピングをする際はしっかりと利用規約を読んだうえで行ってください。許可が下りれば問題ないとは思いますが。

サイト側のスクレイピング対策

本題に入ります。

サイト側でスクレイピングを弾く設定がいくつか存在します。例えばユーザーっぽくないふるまいでサイトにアクセスした場合。あるいは特定のサイトを経由しないと見れないURLに直接アクセスした場合。ゆうまでもなく連続でいろんなURLにアクセスした場合。

連続でアクセスされるとサーバーに負荷がかかるので、これが弾かれるのは想像に難くないと思います。

スクレイピング対策を避ける方法

ただ、スクレイピングするされた場合、上記のような特徴が存在します。

この辺はアクセスログを監視すると見れるかと思います。おそらくですが。

では人間っぽくふるまうにはどうしたらよいか調べた中で書いてみます。

一応言語はpythonを使います。他の言語でもできるかと思うので参考程度にはなるかと思います。

Pythonでのスクレイピング基礎

一般的にpythonでのスクレイピングではrequestsモジュールを使います。他にもseleniumやpyppeteerなどがありますが、一旦requestsを使っていきます。

インストールはpipを使います。

pip install requests

もしpythonのバージョンなどで分けてる場合はこちら

py -3.12 -m pip install requests

インストールが終わったらアクセスしてみましょう。今回は私のサイトにアクセスしてみます。

import requests

response = requests.get('https://xainome.blog/’)
print(response.text)

こうするとHTMLの中身を取得することができます。

そこから取得したい情報があればBeautifulSoupを使って要素を取り出してみましょう。まずはインストール

pip install beautifulsoup4

実際のアクセスとHTMLの解析

インストールができたらHTMLを解析します。

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_parse, 'html.parser')

これで解析の準備ができました。解析の話は本題とそれますのでここまでにしようと思います。

解析やHTMLの情報取得に興味があれば調べてもいいですし、生成AIに聞いてみるでもいいと思います。このようなコード、銘柄、市場などが一覧で取得することができます。もちろんAPIを使うという手もありますが。

リクエストヘッダーの設定

実は通常のリクエストを送る場合ユーザーではなく、言語別のリクエストを送っていることになります。

リクエストにはRequests Headersというものが設定できます。これは私たちがPCやスマホでサイトにアクセスするときも送信されています。

まずは設定してみます。

headers = {
    'User-agent' = 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Mobile Safari/537.36'
}
response = requests.get(search_url, headers=headers)

こんな感じで設定します。特に何も設定しなかった場合、‘python-requests/2.25.1’という設定で送られるみたいです。恐らくjsやGoとかでも似たような設定になるかと思います。

PrefectとBigQueryを使っているので現状やったことを書いてみる

Fri, 23 Aug 2024 00:00:00 +0000

副業でのPrefect CloudとBigQueryの使用

副業でPrefect CloudとBigQueryを使っているので触った点と書いてみようと思います。

環境の設定とインストール

私はWindowsを使っています。契約を結んでいる企業の導入手順がMacで書かれていたのでそこもいろいろ調べてやってみました。

Prefectとは？

そもそもprefectとは何ぞや？というところですね。prefectはPythonベースのワークフローエンジンになります。

pythonジョブの実行を自動化したりデバッグしたりする機能をpythonコードで書けるシステムになります。

AWSだとStepfunctionのイメージに近いですね。それに加えてEventBridgeやCloud Watch Logsが足されたような感じです。

おそらくAWSやGoogle Cloudに比べてコストが低く、使いやすいという点で採用されたと考えられます。

Prefectの参照しているドキュメントはこちらです。ちなみに3.0がリリースされたみたいなのでそちらのドキュメントはこちらになります。

インストール手順

一応pythonをインストールしている前提でお話しします。

まずはprefect cloudのインストールを行います。

pip install prefect

次はタスクを実行するためのコマンドが必要になります。ただ、Windowsにはパッケージ管理ツールがありません。

なくても問題ないですが、せっかくなので導入してみます。今後パッケージを入れるときは活用していきたいです。

Scoopの導入

今回使ったパッケージはscoopになります。手順はサイトにあるのでコマンドプロンプトに入力します。

Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser

デフォルトでmainがありますが、もしバケットを別にして管理したい場合は以下のコマンドを使います。

# バケットの追加
scoop bucket add extras
# バケット一覧
scoop bucket list
# インストール一覧
scoop list

今回はtaskだけ必要なのでmainに入れました。これでtaskコマンドが使えるようになります。

Prefectの設定と実行

ただ、taskを実行するにはTaskfile.yamlが必要になります。中身はプロジェクトによりますが私がやったのはこんな感じ。全部ではないですが…

tasks:
  start-local:
    cmds:
      - pip install -r requirements.txt
      - prefect config set PREFECT_API_URL=http://127.0.0.1:4200/api
      - prefect server start

  start-local-agent:
    cmds:
      - prefect config set PREFECT_API_URL=http://127.0.0.1:4200/api

Taskfile.yamlの準備が出来たらターミナルの用意します。

SageMakerエンドポイントを利用してモデル管理を調べた話

Sat, 03 Aug 2024 00:00:00 +0000

AWSを使用してAIモデルを複数管理する方法

AWSを使用してAIのモデルを複数管理したいという話がありました。

学習済みのモデルなので本番では推論しか使われませんが、モデルのバージョン管理を行いたいということだったので調査をしました。

S3にモデルを置くだけでもある程度管理はできますが、SageMakerのエンドポイントを使うかもしれないということでSageMakerでの管理を調べることになりました。

基本的な書き方はサンプルの書き方に沿ってます。こちらです。

モデルのS3へのアップロード

まずはモデルをS3にアップロードするところからです。

# tensorflowを使うのでmodel.tar.gzにモデルを固める
TAR_DIR = './tmp' # 一時的なモデルディレクトリ
CODE_DIR = './code' # infarence.py等のディレクトリ
MODEL_DIR = './model' # モデルディレクトリ
TAR_NAME = os.path.join(TAR_DIR , 'model.tar.gz')
with tarfile.open(TAR_NAME, mode='w:gz') as tar
    tar.add(MODEL_DIR)
    tar.add(CODE_DIR)

# モデルをS3にアップロード(複数モデルをアップロードする想定)
s3_uri1 = sagemaker.session.Session(default_bucket='development').upload_data(
    path = TAR_NAME
    key_prefix = 'image_recognition/test/model1'
)
s3_uri2 = sagemaker.session.Session(default_bucket='development').upload_data(
    path = TAR_NAME
    key_prefix = 'image_recognition/test/model2'
)

イメージの作成

モデルをアップロードしたら次はイメージの作成をします。イメージに関しては1イメージで複数モデル格納できますが、未調査のため一旦複数イメージを作成します。

image_uri1 = sagemaker.image_uris.retrieve(
    framework='tensorflow',
    region=sagemaker.session.Session().boto_region_name,
    version='2.12',
    instance_type='ml.m5.xlarge',
    image_scope=inference'
)
image_uri2 = sagemaker.image_uris.retrieve(
    framework='tensorflow',
    region=sagemaker.session.Session().boto_region_name,
    version='2.12',
    instance_type='ml.m5.xlarge',
    image_scope=inference'
)

モデルパッケージグループの作成

モデルパッケージグループの作成をします。この中にモデルを複数入れることでバージョン管理を行っていきます。

短期売買と分析力が向上しそうな株価予測をだらだらとやる part9

Wed, 24 Jul 2024 00:00:00 +0000

前回のあらすじ

確率的勾配降下法を使って予測をしてみました。

うまくいかなかったので、別の方法を試すことにしました。

LSTM

時系列分析の代表モデルと言えばLSTMだと思います。

というわけで前回とはプログラムを分けて実装しました。

import pandas as pd
import numpy as np
from sklearn.preprocessing import MinMaxScaler
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, LSTM, Input
import matplotlib.pyplot as plt

import glob
dm_fol = './datamart/'
stock_list = glob.glob(dm_fol + "*.parquet")

# データの読み込みと前処理
def preprocess_data(df, time_step=60):
    df['Close'] = df['Close'].astype(float)
    data = df[['Close']].values

    # データのスケーリング
    scaler = MinMaxScaler(feature_range=(0, 1))
    scaled_data = scaler.fit_transform(data)
    
    # LSTM用のデータセット作成
    X, Y = [], []
    for i in range(time_step, len(scaled_data)):
        X.append(scaled_data[i-time_step:i, 0])
        Y.append(scaled_data[i, 0])
    
    X, Y = np.array(X), np.array(Y)
    X = X.reshape(X.shape[0], X.shape[1], 1)
    
    return X, Y, scaler

# LSTMモデルの構築
def create_lstm_model(input_shape):
    model = Sequential()
    model.add(Input(shape=input_shape))  # Inputオブジェクトを使用して入力形状を指定
    model.add(LSTM(50, return_sequences=True))
    # model.add(LSTM(50, return_sequences=True, input_shape=input_shape))
    model.add(LSTM(50, return_sequences=False))
    model.add(Dense(25))
    model.add(Dense(1))
    model.compile(optimizer='adam', loss='mean_squared_error')
    return model

# モデルの評価とプロット
def evaluate_model(df, model, scaler, X_train, y_train, X_test, y_test, time_step, sticker_name):
    y_train_pred = model.predict(X_train)
    y_test_pred = model.predict(X_test)
    
    y_train_pred = scaler.inverse_transform(y_train_pred)
    y_test_pred = scaler.inverse_transform(y_test_pred)
    
    y_train = scaler.inverse_transform([y_train])
    y_test = scaler.inverse_transform([y_test])
    
    train_mse = np.mean((y_train_pred - y_train[0]) ** 2)
    test_mse = np.mean((y_test_pred - y_test[0]) ** 2)
    print(f"Train Mean Squared Error: {train_mse}")
    print(f"Test Mean Squared Error: {test_mse}")
    
    # プロット
    df.set_index('Date', inplace=True)
    train_dates = df.iloc[time_step:len(y_train[0])+time_step].index
    test_dates = df.iloc[len(y_train[0])+time_step-1:-1].index
    
    plt.figure(figsize=(14, 7))
    # plt.plot(train_dates, y_train[0], label='Train Actual', color='black')
    plt.plot(test_dates, y_test[0], label='Test Actual', color='red')
    plt.plot(test_dates, y_test_pred, label='Test Predicted', color='blue')
    plt.title(sticker_name+': Actual vs Predicted Stock Prices')
    plt.xlabel('Date')
    plt.ylabel('Close')
    plt.legend()
    plt.show()

# 次の日の予測
def predict_next_day(model, scaler, df, time_step=60):
    data = df[['Close']].values
    last_data = data[-time_step:]
    last_data_scaled = scaler.transform(last_data)
    X_input = last_data_scaled.reshape(1, time_step, 1)
    next_day_prediction = model.predict(X_input)
    next_day_prediction = scaler.inverse_transform(next_day_prediction)
    print(f"Next Day Prediction: {next_day_prediction[0][0]}")

# データの読み込み
for count, stock_data in enumerate(stock_list):
  df = pd.read_parquet(stock_data)
  sticker_name = stock_data.split('\\')[1].replace('.parquet', '')

  # データの前処理
  time_step = 60
  X, Y, scaler = preprocess_data(df, time_step)

  # データの分割
  train_size = int(len(X) * 0.8)
  X_train, X_test = X[:train_size], X[train_size:]
  y_train, y_test = Y[:train_size], Y[train_size:]

  # モデルの構築と訓練
  model = create_lstm_model((X_train.shape[1], 1))
  model.fit(X_train, y_train, batch_size=1, epochs=1)

  # モデルの評価
  evaluate_model(df, model, scaler, X_train, y_train, X_test, y_test, time_step, sticker_name)

  # 次の日の予測
  predict_next_day(model, scaler, df, time_step)

コード確認

    # LSTM用のデータセット作成
    X, Y = [], []
    for i in range(time_step, len(scaled_data)):
        X.append(scaled_data[i-time_step:i, 0])
        Y.append(scaled_data[i, 0])
    
    X, Y = np.array(X), np.array(Y)
    X = X.reshape(X.shape[0], X.shape[1], 1)

LSTM用のデータセットは60日分のデータを学習として使い、次の日を出力として使用するという特徴があります。

短期売買と分析力が向上しそうな株価予測をだらだらとやる part8

Mon, 15 Jul 2024 00:00:00 +0000

前回のあらすじ

株価予測を行うコードをいったん書いてみました。

課題はまだ残ったままですが、今回はそこを解決しつつモデルを追加で学習するというやり方を試してみました。

確率的勾配降下法

def predict_next_day(model, scaler, df):
    last_row = df.drop(columns=['Close']).iloc[-1].values.reshape(1, -1)
    # last_row = df.iloc[-1, :-1].values.reshape(1, -1)
    df.drop(columns=['Close']).iloc[-1].to_csv("test.csv")
    last_row_scaled = scaler.transform(last_row)
    next_day_prediction = model.predict(last_row_scaled)
    print(f"Previous Day Prediction: {df.iloc[-1]['Close']}")
    print(f"Next Day Prediction: {next_day_prediction[0]}")

前回の予測部分ですが予測するカラムが異なっていたので変な値が出ていました。

修正したことによってだいぶまともな値に修正ができました。

ただ、うまくいくときはきれいな形になっていますがそうでないことも多いです。

波があるところはうまくできている方ですが、直線気味だとうまくいかないですね。

毎回初期化しているのですが、ダメですね。使ってるモデルが確率的勾配降下法も要因としてあるかもしれないです。

というわけで追加学習する形に変更しようと試してみました。

def update_model(model, scaler, new_df):
    target = new_df['Close'].shift(-1).dropna()
    features = new_df.drop(columns=['Close'])
    features = features[:-1]
    
    # データのスケーリング
    X = scaler.transform(features.values)
    y = target.values
    
    model.partial_fit(X, y)

    # 新しいデータに対する予測と評価
    # X_new = scaler.transform(new_df.drop(columns=['Close']).values)
    X_new = scaler.transform(new_df.drop(columns=['Close']).iloc[:-1].values)
    y_new = new_df['Close'].shift(-1).dropna().values
    y_new_pred = model.predict(X_new)
    mse_new = mean_squared_error(y_new, y_new_pred)
    print(f"New Data MSE: {mse_new}")

for count, stock_data in enumerate(stock_list):
  ・
　・
　・
  if count == 0:
    model, scaler, X_train, X_test, y_train, y_test = train_model(df)

    # モデルの評価
    y_pred = evaluate_model(model, X_test, y_test)

  else:

    update_model(model, scaler, df)

短期売買と分析力が向上しそうな株価予測をだらだらとやる part7

Sat, 06 Jul 2024 00:00:00 +0000

前回のあらすじ

オシレーター系指標の説明変数を追加するコードを書きました。

株価予測_コード

今回やることは株価の予測になります。

今回は1ファイルずつ読み込んで実行しています。ティッカーリストがあればティッカーごとにダウンロードしてきて加工する方法もあったのでいずれやります。

import pandas as pd
import numpy as np
import yfinance as yf
from sklearn.linear_model import SGDRegressor
from sklearn.metrics import mean_squared_error
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt

dm_fol = './datamart/'

import glob
stock_list = glob.glob(dm_fol + "*.parquet")

def preprocess_data(df):

    df.sort_values('Date', inplace=True)
    # 日付を特徴量に変換
    df['Year'] = df['Date'].dt.year
    df['Month'] = df['Date'].dt.month
    df['Day'] = df['Date'].dt.day
    df['Weekday'] = df['Date'].dt.weekday
    df['Quarter'] = df['Date'].dt.quarter

    # 周期成分のエンコーディング
    df['Month_sin'] = np.sin(2 * np.pi * df['Month'] / 12)
    df['Month_cos'] = np.cos(2 * np.pi * df['Month'] / 12)
    df['Day_sin'] = np.sin(2 * np.pi * df['Day'] / 31)
    df['Day_cos'] = np.cos(2 * np.pi * df['Day'] / 31)
    df['Weekday_sin'] = np.sin(2 * np.pi * df['Weekday'] / 7)
    df['Weekday_cos'] = np.cos(2 * np.pi * df['Weekday'] / 7)

    # 日付を削除
    df.drop(columns=['symbol','Date'], inplace=True)
    # "symbol"以外のobject型カラムをワンホットエンコーディング
    df = pd.get_dummies(df, columns=[col for col in df.select_dtypes(include=['object']).columns])

    # 全ての値が欠損している列を削除
    df.dropna(axis=1, how='all', inplace=True)

    # 値が欠損している行を削除
    df.dropna(axis=0, how='any', inplace=True)
    return df

def train_model(df):
    target = df['Close'].shift(-1).dropna()
    features = df.drop(columns=['Close'])
    features = features[:-1]

    # データのスケーリング
    scaler = StandardScaler()
    X = scaler.fit_transform(features.values)
    y = target.values
    
    # データを7:3に分割
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42, shuffle=False)
    
    model = SGDRegressor(max_iter=1000, tol=1e-3)
    model.fit(X_train, y_train)
    
    return model, scaler, X_test, y_test

def evaluate_model(model, scaler, X_test, y_test):
    y_pred = model.predict(X_test)
    mse = mean_squared_error(y_test, y_pred)
    print(f"Mean Squared Error: {mse}")
    plt.figure(figsize=(14, 7))
    plt.plot(y_test, label='Actual', color='black')
    plt.plot(y_pred, label='Predicted', color='blue')
    plt.title('Actual vs Predicted Stock Prices')
    plt.xlabel('Sample')
    plt.ylabel('Price')
    plt.legend()
    plt.show()

def predict_next_day(model, scaler, df):
    last_row = df.iloc[-1, :-1].values.reshape(1, -1)
    df.iloc[-1, :-1].to_csv("test.csv")
    last_row_scaled = scaler.transform(last_row)
    next_day_prediction = model.predict(last_row_scaled)
    print(f"Next Day Prediction: {next_day_prediction[0]}")

# 初回データロードとモデル学習
# start_date = '1990-04-01'
# end_date = '2024-07-03'
# symbols = ['AAPL', 'MSFT', 'GOOGL']
for stock_data in stock_list:
  df = pd.read_parquet(stock_data)
  df = preprocess_data(df)
  model, scaler, X_test, y_test = train_model(df)

  # モデルの評価
  evaluate_model(model, scaler, X_test, y_test)

  # 次の日の予測
  predict_next_day(model, scaler, df)

コードの内容

やったこととしては日付を特徴量に変換しました。

短期売買と分析力が向上しそうな株価予測をだらだらとやる part6

Tue, 02 Jul 2024 00:00:00 +0000

前回のあらすじ

トレンド系指標の説明変数を追加したところで終わりました。

オシレーター系指標

今回作成したのは

RSI
RCI
移動平均線乖離率
スローストキャスティクス
モメンタムとROC
MFI
CCI
ギャップ
ヒストリカル・ボラティリティ

def rsi(df):
  # RSIの計算
  window = 14

  # 終値の変化
  df['Change'] = df['Adj Close'].diff()

  # 上昇幅と下落幅の計算
  df['Gain'] = np.where(df['Change'] > 0, df['Change'], 0)
  df['Loss'] = np.where(df['Change'] < 0, -df['Change'], 0)

  # 平均上昇幅と平均下落幅の計算
  df['Avg_Gain'] = df['Gain'].rolling(window=window).mean()
  df['Avg_Loss'] = df['Loss'].rolling(window=window).mean()

  # 相対力（RS）の計算
  df['RS'] = df['Avg_Gain'] / df['Avg_Loss']

  # RSIの計算
  df['RSI'] = 100 - (100 / (1 + df['RS']))

  # シグナルの判定
  df['rsi_Signal'] = np.where(df['RSI'] > 70, 'Sell', np.where(df['RSI'] < 30, 'Buy', np.nan))

def calculate_rci(series):
    n = len(series)
    date_rank = np.arange(1, n + 1)
    price_rank = series.rank().values
    ssd = np.sum((date_rank - price_rank) ** 2)
    rci = 1 - (6 * ssd) / (n * (n ** 2 - 1))
    return rci

def rci(df):
  # RCIの計算
  window = 14

  df['RCI'] = df['Adj Close'].rolling(window=window).apply(calculate_rci, raw=False)

  # シグナルの判定（RSIと同様に70以上で売りシグナル、30以下で買いシグナル）
  df['rci_Signal'] = np.where(df['RCI'] > 70, 'Sell', np.where(df['RCI'] < 30, 'Buy', np.nan))

def madp(df):
  # 乖離率の計算
  df['madp'] = (df['Adj Close'] - df['SMA']) / df['SMA'] * 100

  # シグナルの判定
  df['madp_Signal'] = np.nan
  threshold = 5  # 閾値の設定

  for i in range(1, len(df)):
      if df['madp'].iloc[i-1] < -threshold and df['madp'].iloc[i] > df['madp'].iloc[i-1]:
          df.at[df.index[i], 'madp_Signal'] = 'Buy'
      elif df['madp'].iloc[i-1] > threshold and df['madp'].iloc[i] < df['madp'].iloc[i-1]:
          df.at[df.index[i], 'madp_Signal'] = 'Sell'

def stochastic(df):
  # %Kの計算
  window = 14
  df['14-High'] = df['High'].rolling(window=window).max()
  df['14-Low'] = df['Low'].rolling(window=window).min()
  df['%K'] = (df['Adj Close'] - df['14-Low']) / (df['14-High'] - df['14-Low']) * 100

  # スロー%Dの計算
  df['slow%D'] = df['%K'].rolling(window=3).mean()

  # シグナルの判定
  df['sto_Signal'] = np.nan
  for i in range(1, len(df)):
      if df['slow%D'].iloc[i-1] < 20 and df['slow%D'].iloc[i] > df['slow%D'].iloc[i-1]:
          df.at[df.index[i], 'sto_Signal'] = 'Buy'
      elif df['slow%D'].iloc[i-1] > 80 and df['slow%D'].iloc[i] < df['slow%D'].iloc[i-1]:
          df.at[df.index[i], 'sto_Signal'] = 'Sell'

def momentum_roc(df):
  # モメンタムとROCの計算
  window = 14
  df['Momentum'] = df['Adj Close'] - df['Adj Close'].shift(window)
  df['ROC'] = ((df['Adj Close'] - df['Adj Close'].shift(window)) / df['Adj Close'].shift(window)) * 100

  # トレンドの判定
  df['Momentum_Trend'] = np.where(df['Momentum'] > 0, 'Uptrend', np.where(df['Momentum'] < 0, 'Downtrend', 'Neutral'))
  df['ROC_Trend'] = np.where(df['ROC'] > 0, 'Uptrend', np.where(df['ROC'] < 0, 'Downtrend', 'Neutral'))

def mfi(df):
  # 典型価格（TP）の計算
  df['TP'] = (df['High'] + df['Low'] + df['Adj Close']) / 3

  # マネーフロー（Raw Money Flow）の計算
  df['Raw Money Flow'] = df['TP'] * df['Volume']

  # ポジティブマネーフローとネガティブマネーフローの計算
  df['Positive Money Flow'] = np.where(df['TP'] > df['TP'].shift(1), df['Raw Money Flow'], 0)
  df['Negative Money Flow'] = np.where(df['TP'] < df['TP'].shift(1), df['Raw Money Flow'], 0)

  # 14期間の合計
  window = 14
  df['Positive Money Flow Sum'] = df['Positive Money Flow'].rolling(window=window).sum()
  df['Negative Money Flow Sum'] = df['Negative Money Flow'].rolling(window=window).sum()

  # MFIの計算
  df['Money Flow Ratio'] = df['Positive Money Flow Sum'] / df['Negative Money Flow Sum']
  df['MFI'] = 100 - (100 / (1 + df['Money Flow Ratio']))

  # シグナルの判定
  df['mfi_Signal'] = np.nan
  for i in range(1, len(df)):
      if df['MFI'].iloc[i-1] < 20 and df['MFI'].iloc[i] > df['MFI'].iloc[i-1]:
          df.at[df.index[i], 'mfi_Signal'] = 'Buy'
      elif df['MFI'].iloc[i-1] > 80 and df['MFI'].iloc[i] < df['MFI'].iloc[i-1]:
          df.at[df.index[i], 'mfi_Signal'] = 'Sell'

def cci(df):
  # 典型価格（TP）の計算
  df['TP'] = (df['High'] + df['Low'] + df['Adj Close']) / 3

  # 単純移動平均（SMA）の計算
  window = 20
  df['cci_SMA'] = df['TP'].rolling(window=window).mean()

  # 偏差（Mean Deviation）の計算
  df['Mean Deviation'] = df['TP'].rolling(window=window).apply(lambda x: np.mean(np.abs(x - x.mean())), raw=True)

  # CCIの計算
  df['CCI'] = (df['TP'] - df['cci_SMA']) / (0.015 * df['Mean Deviation'])

  # シグナルの判定
  df['cci_Signal'] = np.nan
  for i in range(1, len(df)):
      if df['CCI'].iloc[i-1] < -100 and df['CCI'].iloc[i] > df['CCI'].iloc[i-1]:
          df.at[df.index[i], 'cci_Signal'] = 'Buy'
      elif df['CCI'].iloc[i-1] > 100 and df['CCI'].iloc[i] < df['CCI'].iloc[i-1]:
          df.at[df.index[i], 'cci_Signal'] = 'Sell'

def gap(df):
# ギャップアップとギャップダウンの計算
  df['Previous Close'] = df['Adj Close'].shift(1)
  df['Gap'] = df['Open'] - df['Previous Close']
  df['Gap Type'] = np.where(df['Gap'] > 0, 'Gap Up', np.where(df['Gap'] < 0, 'Gap Down', 'No Gap'))

def hv(df):
  # ヒストリカル・ボラティリティの計算
  window = 20

  # リターンの計算
  df['Return'] = np.log(df['Adj Close'] / df['Adj Close'].shift(1))

  # 標準偏差の計算
  df['HV'] = df['Return'].rolling(window=window).std() * np.sqrt(252)

  # df['RCI'] = df['Adj Close'].rolling(window=window).apply(calculate_rci, raw=False)

  # シグナルの判定
  df['hv_Signal'] = np.nan
  for i in range(1, len(df)):
      if df['RCI'].iloc[i-1] < -80 and df['RCI'].iloc[i] > df['RCI'].iloc[i-1]:
          df.at[df.index[i], 'hv_Signal'] = 'Buy'
      elif df['RCI'].iloc[i-1] > 80 and df['RCI'].iloc[i] < df['RCI'].iloc[i-1]:
          df.at[df.index[i], 'hv_Signal'] = 'Sell'

次回は予測をしていこうと思います。

短期売買と分析力が向上しそうな株価予測をだらだらとやる part5

Tue, 25 Jun 2024 00:00:00 +0000

前回のあらすじ

オシレータ系指標とその他の指標について確認しました。

今回は実際にコードに落とし込んで、グラフで見てみようと思います。

作成したコード

今回はとりあえずトレンド系指標の説明変数を見てみたいと思います。クラスかはまだやってないので、いずれやっておきます。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import os

out_fol = "./stock_data/"
import glob
stock_list = glob.glob(out_fol + "*.csv")

def moveing_average(df):
  # 単純移動平均線（SMA）の計算
  df['SMA'] = df['Adj Close'].rolling(window=20).mean()
  # 指数平滑移動平均線（EMA）の計算
  df['EMA'] = df['Adj Close'].ewm(span=20, adjust=False).mean()
  # グラフのプロット
  plt.figure(figsize=(14, 7))
  plt.plot(df['Adj Close'], label='Close Price', color='black')
  plt.plot(df['SMA'], label='20-Day SMA', color='blue')
  plt.plot(df['EMA'], label='20-Day EMA', color='red')

  plt.title('Stock Price with 20-Day SMA and 20-Day EMA')
  plt.xlabel('Date')
  plt.ylabel('Price')
  plt.legend()
  plt.grid(True)
  plt.show()

def macd(df):
  # 短期EMA（12日）の計算
  short_ema = df['Adj Close'].ewm(span=12, adjust=False).mean()

  # 長期EMA（26日）の計算
  long_ema = df['Adj Close'].ewm(span=26, adjust=False).mean()

  # MACDラインの計算
  df['MACD'] = short_ema - long_ema

  # シグナルラインの計算（9日間のMACDのEMA）
  df['Signal_Line'] = df['MACD'].ewm(span=9, adjust=False).mean()

  # MACDヒストグラムの計算
  df['MACD_Histogram'] = df['MACD'] - df['Signal_Line']
  # グラフのプロット
  plt.figure(figsize=(14, 7))
  # 終値のプロット
  plt.subplot(2, 1, 1)
  plt.plot(df['Close'], label='Close Price', color='black')
  plt.title('Stock Price and MACD')
  plt.xlabel('Date')
  plt.ylabel('Price')
  plt.legend()

  # MACDとシグナルラインのプロット
  plt.subplot(2, 1, 2)
  plt.plot(df['MACD'], label='MACD', color='blue')
  plt.plot(df['Signal_Line'], label='Signal Line', color='red')
  plt.bar(df.index, df['MACD_Histogram'], label='MACD Histogram', color='gray')
  plt.xlabel('Date')
  plt.ylabel('Value')
  plt.legend()

  plt.tight_layout()
  plt.show()

def bollinger_bands(df):
  # 中央バンド（20日間の単純移動平均線）の計算
  df['Middle_Band'] = df['Adj Close'].rolling(window=20).mean()

  # 標準偏差の計算
  df['STD'] = df['Adj Close'].rolling(window=20).std()

  # 上部バンドの計算
  df['Upper_Band'] = df['Middle_Band'] + (2 * df['STD'])

  # 下部バンドの計算
  df['Lower_Band'] = df['Middle_Band'] - (2 * df['STD'])

  # 過熱感の判断
  df['bands_buy_flg'] = df['Adj Close'] > df['Lower_Band']
  df['bands_sell_flg'] = df['Adj Close'] < df['Upper_Band']
  # グラフのプロット
  plt.figure(figsize=(14, 7))
  plt.plot(df['Adj Close'], label='Close Price', color='black')
  plt.plot(df['Middle_Band'], label='Middle Band (SMA 20)', color='blue')
  plt.plot(df['Upper_Band'], label='Upper Band (Middle + 2*STD)', color='red')
  plt.plot(df['Lower_Band'], label='Lower Band (Middle - 2*STD)', color='green')

  plt.fill_between(df.index, df['Upper_Band'], df['Lower_Band'], color='grey', alpha=0.1)
  plt.scatter(df.index[df['bands_buy_flg']], df['Adj Close'][df['bands_buy_flg']], label='bands_buy_flg', color='red', marker='o')
  plt.scatter(df.index[df['bands_sell_flg']], df['Adj Close'][df['bands_sell_flg']], label='bands_sell_flg', color='green', marker='o')

  plt.title('Bollinger Bands with bands_buy_flg and bands_sell_flg Signals')
  plt.xlabel('Date')
  plt.ylabel('Price')
  plt.legend()
  plt.grid(True)
  plt.show()

def ichimoku_kinko_hyo(df):
  # 転換線（過去9日間の最高値と最安値の平均値）
  df['Tenkan_sen'] = (df['High'].rolling(window=9).max() + df['Low'].rolling(window=9).min()) / 2

  # 基準線（過去26日間の最高値と最安値の平均値）
  df['Kijun_sen'] = (df['High'].rolling(window=26).max() + df['Low'].rolling(window=26).min()) / 2

  # 先行スパン1（転換線と基準線の平均値を26日先にプロット）
  df['Senkou_Span_A'] = ((df['Tenkan_sen'] + df['Kijun_sen']) / 2).shift(26)

  # 先行スパン2（過去52日間の最高値と最安値の平均値を26日先にプロット）
  df['Senkou_Span_B'] = ((df['High'].rolling(window=52).max() + df['Low'].rolling(window=52).min()) / 2).shift(26)

  # 遅行スパン（現在の終値を26日遅らせてプロット）
  df['Chikou_Span'] = df['Adj Close'].shift(-26)

  # 雲の上・下の判定とシグナル
  df['Signal'] = np.where(df['Tenkan_sen'] > df['Kijun_sen'], 'Buy', 'Sell')
  df['Trend'] = np.where(df['Adj Close'] > df[['Senkou_Span_A', 'Senkou_Span_B']].max(axis=1), 'Uptrend',
                        np.where(df['Adj Close'] < df[['Senkou_Span_A', 'Senkou_Span_B']].min(axis=1), 'Downtrend', 'Neutral'))
  # グラフのプロット
  plt.figure(figsize=(14, 7))
  plt.plot(df['Adj Close'], label='Close Price', color='black')
  plt.plot(df['Tenkan_sen'], label='Tenkan-sen (Conversion Line)', color='blue')
  plt.plot(df['Kijun_sen'], label='Kijun-sen (Base Line)', color='red')
  plt.plot(df['Senkou_Span_A'], label='Senkou Span A (Leading Span 1)', color='green')
  plt.plot(df['Senkou_Span_B'], label='Senkou Span B (Leading Span 2)', color='orange')
  plt.plot(df['Chikou_Span'], label='Chikou Span (Lagging Span)', color='purple')

  # 先行スパンの領域を塗りつぶす
  plt.fill_between(df.index, df['Senkou_Span_A'], df['Senkou_Span_B'], where=df['Senkou_Span_A'] >= df['Senkou_Span_B'], color='lightgreen', alpha=0.5)
  plt.fill_between(df.index, df['Senkou_Span_A'], df['Senkou_Span_B'], where=df['Senkou_Span_A'] < df['Senkou_Span_B'], color='lightcoral', alpha=0.5)

  plt.title('Ichimoku Kinko Hyo (Ichimoku Cloud)')
  plt.xlabel('Date')
  plt.ylabel('Price')
  plt.legend()
  plt.grid(True)
  plt.show()

  # シグナルとトレンドの表示
  print(df[['Adj Close', 'Tenkan_sen', 'Kijun_sen', 'Signal', 'Trend']].tail(30))

def directional_movement_index(df):
  # True Range（TR）の計算
  df['TR'] = df[['High', 'Low', 'Adj Close']].apply(lambda x: max(x['High'] - x['Low'], abs(x['High'] - x['Adj Close']), abs(x['Low'] - x['Adj Close'])), axis=1)

  # +DMと-DMの計算
  df['+DM'] = df['High'].diff().apply(lambda x: x if x > 0 else 0)
  df['-DM'] = df['Low'].diff().apply(lambda x: -x if x < 0 else 0)

  # 14期間のTR、+DM、-DMの合計
  df['TR14'] = df['TR'].rolling(window=14).sum()
  df['+DM14'] = df['+DM'].rolling(window=14).sum()
  df['-DM14'] = df['-DM'].rolling(window=14).sum()

  # +DIと-DIの計算
  df['+DI14'] = 100 * (df['+DM14'] / df['TR14'])
  df['-DI14'] = 100 * (df['-DM14'] / df['TR14'])

  # DXの計算
  df['DX'] = 100 * (abs(df['+DI14'] - df['-DI14']) / (df['+DI14'] + df['-DI14']))

  # ADXの計算
  df['ADX'] = df['DX'].rolling(window=14).mean()

  # シグナルとトレンド強度の判定
  df['Signal'] = np.where(df['+DI14'] > df['-DI14'], 'Buy', 'Sell')
  df['Trend_Strength'] = np.where(df['ADX'] >= 25, 'Strong', 'Weak')

  # ADXのトレンド（前日と比べて上昇または下降を判定）
  df['ADX_Trend'] = df['ADX'].diff().apply(lambda x: 'Uptrend' if x > 0 else 'Downtrend' if x < 0 else 'No Change')
  # グラフのプロット
  plt.figure(figsize=(14, 7))

  plt.plot(df['+DI14'], label='+DI (Positive Directional Indicator)', color='green')
  plt.plot(df['-DI14'], label='-DI (Negative Directional Indicator)', color='red')
  plt.plot(df['ADX'], label='ADX (Average Directional Index)', color='blue')

  plt.title('DMI (Directional Movement Index)')
  plt.xlabel('Date')
  plt.ylabel('Value')
  plt.legend()
  plt.grid(True)
  plt.show()

  # 結果の表示
  print(df[['+DI14', '-DI14', 'ADX', 'Signal', 'Trend_Strength']].tail(30))

def parabolic(df):
  # パラボリックSARの計算
  df['SAR'] = np.nan
  df['EP'] = np.nan
  df['AF'] = np.nan

  # 初期値設定
  initial_trend = 'up' if df['Adj Close'].iloc[1] > df['Adj Close'].iloc[0] else 'down'
  initial_AF = 0.02
  max_AF = 0.2

  # 初期SAR、EP、AFの設定
  df.at[df.index[1], 'SAR'] = df['Low'].iloc[0] if initial_trend == 'up' else df['High'].iloc[0]
  df.at[df.index[1], 'EP'] = df['High'].iloc[1] if initial_trend == 'up' else df['Low'].iloc[1]
  df.at[df.index[1], 'AF'] = initial_AF

  # パラボリックSARの計算ループ
  for i in range(2, len(df)):
      prev_SAR = df['SAR'].iloc[i-1]
      prev_AF = df['AF'].iloc[i-1]
      prev_EP = df['EP'].iloc[i-1]
      trend = 'up' if df['Adj Close'].iloc[i-1] > prev_SAR else 'down'
      
      if trend == 'up':
          SAR = prev_SAR + prev_AF * (prev_EP - prev_SAR)
          EP = max(prev_EP, df['High'].iloc[i])
          AF = min(prev_AF + 0.02, max_AF) if df['High'].iloc[i] > prev_EP else prev_AF
      else:
          SAR = prev_SAR - prev_AF * (prev_SAR - prev_EP)
          EP = min(prev_EP, df['Low'].iloc[i])
          AF = min(prev_AF + 0.02, max_AF) if df['Low'].iloc[i] < prev_EP else prev_AF
      
      # トレンドの反転
      if trend == 'up' and df['Low'].iloc[i] < SAR:
          SAR = prev_EP
          EP = df['Low'].iloc[i]
          AF = initial_AF
          trend = 'down'
      elif trend == 'down' and df['High'].iloc[i] > SAR:
          SAR = prev_EP
          EP = df['High'].iloc[i]
          AF = initial_AF
          trend = 'up'
      
      df.at[df.index[i], 'SAR'] = SAR
      df.at[df.index[i], 'EP'] = EP
      df.at[df.index[i], 'AF'] = AF

  # シグナルの判定
  df['Signal'] = np.where((df['Adj Close'].shift(1) < df['SAR'].shift(1)) & (df['Adj Close'] > df['SAR']), 'Sell',
                          np.where((df['Adj Close'].shift(1) > df['SAR'].shift(1)) & (df['Adj Close'] < df['SAR']), 'Buy', np.nan))

  # グラフのプロット
  plt.figure(figsize=(14, 7))
  plt.plot(df['Adj Close'], label='Close Price', color='black')
  plt.plot(df['SAR'], label='Parabolic SAR', linestyle='dashed', color='blue')
  plt.scatter(df[df['Signal'] == 'Buy'].index, df[df['Signal'] == 'Buy']['Adj Close'], marker='^', color='green', label='Buy Signal', s=100)
  plt.scatter(df[df['Signal'] == 'Sell'].index, df[df['Signal'] == 'Sell']['Adj Close'], marker='v', color='red', label='Sell Signal', s=100)

  plt.title('Parabolic SAR with Buy and Sell Signals')
  plt.xlabel('Date')
  plt.ylabel('Price')
  plt.legend()
  plt.grid(True)
  plt.show()

  # 結果の表示
  print(df[['Adj Close', 'SAR', 'EP', 'AF', 'Signal']].tail(30))

def Envelope(df):
  # エンベロープの計算
  percentage = 0.02  # 2% のエンベロープ
  df['Upper Envelope'] = df['SMA'] * (1 + percentage)
  df['Lower Envelope'] = df['SMA'] * (1 - percentage)
  # シグナルの判定
  df['Signal'] = np.where(df['Adj Close'] > df['Upper Envelope'], 'Sell',
                          np.where(df['Adj Close'] < df['Lower Envelope'], 'Buy', np.nan))
  # グラフのプロット
  plt.figure(figsize=(14, 7))
  plt.plot(df['Adj Close'], label='Close Price', color='black')
  plt.plot(df['SMA'], label='20-Day SMA', color='blue')
  plt.plot(df['Upper Envelope'], label='Upper Envelope (SMA + 2%)', color='green')
  plt.plot(df['Lower Envelope'], label='Lower Envelope (SMA - 2%)', color='red')
  plt.scatter(df[df['Signal'] == 'Buy'].index, df[df['Signal'] == 'Buy']['Adj Close'], marker='^', color='green', label='Buy Signal', s=100)
  plt.scatter(df[df['Signal'] == 'Sell'].index, df[df['Signal'] == 'Sell']['Adj Close'], marker='v', color='red', label='Sell Signal', s=100)

  plt.title('Envelopes with Buy and Sell Signals')
  plt.xlabel('Date')
  plt.ylabel('Price')
  plt.legend()
  plt.grid(True)
  plt.show()

  # 結果の表示
  print(df[['Adj Close', 'SMA', 'Upper Envelope', 'Lower Envelope', 'Signal']].tail(30))

for stock_data in stock_list:
  # データフレームの作成
  df = pd.read_csv(stock_data)
  df['Date'] = pd.to_datetime(df['Date'])
  df.set_index('Date', inplace=True)

  moveing_average(df)
  macd(df)
  bollinger_bands(df)
  ichimoku_kinko_hyo(df)
  directional_movement_index(df)
  parabolic(df)
  Envelope(df)
  os.system("pause")

実行結果の確認

コードの作成が完了したので実行してグラフを見てみます。実行したデータはAppleの20年分とMcDonald’sの1年分になります。比較してみてみようと思います。

短期売買と分析力が向上しそうな株価予測をだらだらとやる part4

Sat, 22 Jun 2024 00:00:00 +0000

前回までのあらすじ

株価の基本情報とトレント系指標について見てみました。

今回はオシレーター系指標とその他について見ていこうと思います。

技術分析データ

オシレーター系指標

RSI（相対力指数）: 株価の過熱感を示す指標。
サイコロジカルライン：一定期間の中で株価が上昇した日数の割合を示す。市場の投資家心理を測る指標。
RCI：日付の順位と価格の順位の相関関係を示し、トレンドの強さを判断する指標。
移動平均線乖離率：現在の株価と移動平均線との乖離を示しす。価格が移動平均線からどれだけ離れているかを判断する指標。
スローストキャスティクス：ストキャスティクスの変動を滑らかにする。買われ過ぎや売られ過ぎの状態をより安定して示す指標。
モメンタムとROC：モメンタムは価格の変化のスピードを示す。ROCは一定期間の価格変動率を示す指標。
MFI：出来高を加味したRSIに似た指標。買われ過ぎや売られ過ぎを判断するための指標。
CCI：価格と移動平均線の乖離を基に、トレンドの強さと異常値を判断する指標。

その他

ヒストリカル・ボラティリティ：過去の一定期間の価格変動の大きさを測定した指標。
ギャップ（ギャップアップ、ギャップダウン）：前日の終値と当日の始値の差で市場の初期のトレンド。
レジスタンスライン：株価が上昇する際に止まりやすい価格帯のこと。
サポートライン：株価が下落する際に止まりやすい価格帯のこと。

軽く調べただけでこれくらいあるんですね。ローソク足を使ったりチャートの動きを使う指標もありましたが、今回は割愛します。他にも使いたいデータはありますので。

技術分析データ_補足説明

RSI (Relative Strength Index, 相対力指数)

株価の過熱感を示すオシレータータイプの指標で0~100の範囲で表す。14日間のデータを使用するのが一般的。
- 70以上: 買われ過ぎ（Overbought）を示し、価格の反転を予想。
- 30以下: 売られ過ぎ（Oversold）を示し、価格の上昇を予想

RCI（Rank Correlation Index）

株価の日付順位と価格順位の相関を示す指標。トレンドの強さと方向を判断するために使用される。
- 各日付に順位を付ける（最新の日を1位とする）。各価格にも順位を付ける（高い価格を1位とする）。日付順位と価格順位の差を二乗して合計。RCIを計算。
- RCI=1 − 6∑(日付順位−価格順位)^2 / n(n^2−1)

移動平均線乖離率（Moving Average Convergence Divergence, MACD）

現在の株価と移動平均線との乖離を示す。価格が移動平均線からどれだけ離れているかを判断する指標。
- 移動平均線（通常は25日移動平均線）を計算。現在の株価と移動平均線の差を求める。その差を移動平均線で割り、百分率で表示する。
- 乖離率=(現在の株価 − 移動平均線) / 移動平均線 ×100
- 乖離率が大きくマイナスに乖離した後に反転したら買いシグナル。乖離率が大きくプラスに乖離した後に反転したら売りシグナル

スローストキャスティクス（Slow Stochastic Oscillator）

ストキャスティクスの変動を滑らかにする。買われ過ぎや売られ過ぎの状態をより安定して示す指標
ストキャスティクスとは価格が特定の期間内でどれだけ高値と安値の間にあるかを示す指標。スロー以外にもファストがあるがここでは割愛。
- 過去N日間（通常は14日間）の最高値と最安値を求める。現在の終値から最安値を引き、最高値と最安値の差で割る。この値に100を掛ける。%Kの値が出る。過去3日間の%Kラインの平均を求める。%Dの値が出る。％Dの単純移動平均を求める。Slow%Dの値が出る。
- スロー%Dが20以下から上昇し始めたら買いシグナル、スロー%Dが80以上から下落し始めたら売りシグナル。

モメンタム（Momentum）

一定期間内の価格変動の速度や勢いを示す指標。トレンドの強さや反転の可能性を判断する。プラスの値は上昇トレンドを、マイナスの値は下降トレンドを示す。
- momentum = 現在の株価 - N期間前の株価

ROC（Rate of Change）

モメンタムを百分率で表したもので、トレンドの強さを評価する。プラスの値は上昇トレンドを、マイナスの値は下降トレンドを示す.。
- ROC = ((現在の株価 - N期間前の株価) / N期間前の株価) * 100

MFI（Money Flow Index）

出来高を加味したRSIに似た指標で、市場の過熱感を判断するために使用される。MFIが80以上で下落し始めたら売りシグナル、20以下で上昇し始めたら買いシグナル。
- TP = H + L + C / 3 (TP: その日の取引価格の中央値、H: 最高値、L: 最安値、C: 終値)

短期売買と分析力が向上しそうな株価予測をだらだらとやる part3

Wed, 19 Jun 2024 00:00:00 +0000

株価予測_前回のおさらい

前回はティッカー一覧を取得できたので、株価を取得する方法を書きました。株価取得のコードはpart1とそこまで大きな差はないですが…

株価予測_今回やること

今回は予測の前に使用する変数について記載していきます。

株価で取得した値は6つになります。

ただし、トレーダーの一部の人は組み合わせて説明変数を作って使っていると思います。

なのでChat-GPTに質問を投げた後、説明変数を見ていこうと思います。

株価とは

特定の時間における株式の市場価格を示します。この値は技術分析で使用される「移動平均線、RSI、MACD」などで使用されます。株価の情報は以下のデータが存在します。

変数名	説明
Open（始値）	引日の最初の取引価格。ギャップを分析できる。
High（高値）	取引日の中で最も高い取引価格。レジスタンラインの形成にも使用する。
Low（安値）	取引日の中で最も低い取引価格。サポート来の形成にも使用する。
Close（終値）	取引日の最後の取引価格。
Adj Close（調整後終値）	分割や配当を調整した後の終値。
Volume（出来高）	取引日の中で売買された株式の総数。

出来高についての補足

特定の期間に取引された株式の数量を示します。出来高の増減は市場の関心度やトレンドの強さを示します。また、高い出来高を伴う価格変動は信頼性が高く、トレンドが続く可能性がある。

技術分析データについて

株価からわかる基本的な情報はこれで以上になります。この情報を組み合わせて変数を作り、そのデータを株価予測に使用していきます。次は技術分析についてです。

技術分析はザックリ分けると以下の2タイプに分かれます。

トレンド系指標（順張り系指標）
オシレーター系指標（逆張り系指標）

この2つを組み合わせることでだましに合わず有効活用できると言われています。※だまし(理論通りの動きとならず反対の動きをすること)

まずはトレンド系指標から見ていこうと思います。他にも指標はありますが文量が多くなるので次回に回します。

トレンド系指標

移動平均線: 一定期間の平均株価。
MACD（移動平均収束拡散法）: 短期と長期の移動平均線の差。
ボリンジャーバンド: 株価の変動範囲を示す指標。
一目均衡表：市場のトレンド、サポート・レジスタンス、買い・売りのシグナルを同時に把握できる総合的なテクニカル指標。
DMI：上昇トレンドと下降トレンドの強さを示し、相場の方向性を判断するための指標。
パラボリック：トレンドの転換点を示し、上昇トレンドでは株価の下、下降トレンドでは株価の上に点を描く指標。
エンベロープ：一定期間の移動平均線に対して上下に一定割合だけ離れたバンドを描き、過熱感を判断する指標。

技術分析データ_補足説明

移動平均線 (Moving Average, MA)

一定期間の平均株価を計算し、その期間が過ぎると新しいデータで更新される指標。

単純移動平均線 (Simple Moving Average, SMA)：指定された期間の株価の平均値を計算。例：5日移動平均線、25日移動平均線、75日移動平均線
指数平滑移動平均線 (Exponential Moving Average, EMA)：最近のデータに重みを置いて計算する移動平均線。

MACD (Moving Average Convergence Divergence, 移動平均収束拡散法)

短期のEMAと長期のEMAの差を基にした指標。3つの要素で構成され、MACDラインがシグナルラインを上抜けると買いシグナル、下抜けると売りシグナルとされる。

MACDライン: 12日EMAと26日EMAの差
シグナルライン: 9日EMA（MACDラインのEMA）

WordPressにパスキーを導入してセキュリティ意識を高めよう！

Sun, 16 Jun 2024 00:00:00 +0000

はじめに

ここ最近セキュリティに関するニュースが後を絶たないですね…。例えば

流出や攻撃だけでも頻繁に起きますし、脆弱性の発見も日々起こっています。こちらのサイトなどで見ることができます。

そこで自身もセキュリティ意識を高めるため、パスワードではなくパスキーを使ったWordPressのログインを試みようという話になります。

設定手順

まずはWordPressにログインして「OwnID Passwordless Login」をインストールします。その後設定画面に移動すると以下の画像画面に行くので、「OwnID Console.」をクリックします。

OwnID Console画面に入ったらアカウントを作ってログインしましょう！Githubがあればそちらでも大丈夫です。

ログインができたら「Create Application」でアプリの作成を行います。

まずはアプリ名を決めましょう。適当で大丈夫です。

アプリ名を決めたら使用するシステムを選択しましょう！今回の場合はWordPressになります。

もし開発に使用する場合は以下から選択することになると思います。いつか開発で使ってみたいですね。

WordPressの場合は自身のURLサイトを設定しましょう。

設定が完了したら準備完了です！

複数サイト設定

ここから先は複数作る場合になります。カスタムドメインで作ると複数パターン設定できます。

カスタムドメインをまずは作ります。基本は「passwordless.あなたのドメイン」で設定します。

カスタムドメインの設定が完了したらDNSにStep1とStep2の値を設定します。

設定が完了してチェックが通れば「Verified」になります。

設定が完了したら「App ID」と「Shared Secret」の画面を出したまま、WordPressの画面に戻ります。

OwnIDの設定画面で先ほどのApp IDとShared secretを入力して完了です。

短期売買と分析力が向上しそうな株価予測をだらだらとやる part2

Thu, 13 Jun 2024 00:00:00 +0000

前回までの話

前回ティッカーが取れないという話をしたがあれは嘘だ。

pyppeteerを使うといったがあれも嘘だ。

ティッカー取得時の注意点

前回作成したものからほとんど変えることなくSBIに記載されている全てのティッカーを取得することができました。

ただ、注意点があります。

アメリカ以外の国ではティッカーの後に特定の文字列をつける必要がある。
- ベトナムの「DCL」であれば後ろに「.VN」をつけて「DCL.VN」にする必要がある。
中国(香港)の「000621」であれば後ろに「.HK」をつけて、さらに前の0を削除して「00621.HK」にする必要がある。
シンガポールとマレーシアに関しては扱うティッカーの文字列がそもそも違うので使えない。
日本の場合は東京で扱っているものは後ろに「.T」、札幌であれば「.S」が必要。

前回の修正箇所

日本はまだ取得してないですが上記の点に注意して、コード書いていく必要があります。修正した個所はここ

sbi_foreign_stock_list = [
  {"america":   {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_usequity_list.html", "tag": "table", "c_cd":"",    "class": "foo_table md-l-table-01 md-l-utl-mt10"}},
  {"china":     {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_hk_list.html",       "tag": "div",   "c_cd":".HK", "class": "accTbl01"}},
  {"korea":     {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_kr_list.html",       "tag": "div",   "c_cd":".KS", "class": "accTbl01"}},
  {"russia":    {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_ru_list.html",       "tag": "div",   "c_cd":".ME", "class": "accTbl01"}},
  {"vietnam":   {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_vn_list.html",       "tag": "div",   "c_cd":".VN", "class": "accTbl01"}},
  {"Indonesia": {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_id_list.html",       "tag": "div",   "c_cd":".JK", "class": "accTbl01"}},
  # {"Singapore": {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_sg_list.html",       "tag": "div",   "c_cd":".SI", "class": "accTbl01"}}, # SBIとyahooのティカーが一致しない件
  {"thailand":  {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_th_list.html",       "tag": "div",   "c_cd":".BK", "class": "accTbl01"}},
  # {"malaysia":  {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_my_list.html",       "tag": "div",   "c_cd":".KL", "class": "accTbl01"}}, # SBIとyahooのティカーが一致しない件(SBIは英略、yahooは数値)
]

株価取得コード

修正するとティッカーリストが作られるので、取得したティッカーリストをもとに株価を取得すると以下のようなコードになります。

短期売買と分析力が向上しそうな株価予測をだらだらとやる part1

Mon, 10 Jun 2024 00:00:00 +0000

前回RAGシステムを作ってみてある程度できました。次に、何を作ろうかということで表題になります。

前回と違って完成形は全く思い浮かんでません。とりあえずやってれば何かできるかということで作っていきます。

ティッカー取得

まずは株価の取得が必要なのですが今回はyahoo! financeのAPIを使って取得しようと思います。取得する際のコードは以下。

import pandas_datareader.data as web
df = web.get_data_yahoo('1304', '1980-01-01', '2024-06-10')

pandas_datareaderにyahoo用の株価取得ライブラリがあるのでそれを利用します。ティッカー(銘柄)と株価取得の時間を設定します。

株価の取得は簡単なのですが、ティッカーをいちいち手入力するのは面倒ですね。時間は変数で設定できますので問題ないです。

というわけでティッカーを取得するプログラムを作ります。

ティッカーを取得するには東京証券取引所、名古屋証券取引所、福岡証券取引所、札幌証券取引所、各国別SBI証券ティッカー一覧から取れると思いますが、今回はSBI証券から取得しようと思います。

昔やろうとしたことがあったのでそれを流用しようと思います。対象となるサイトはこちらです。

ティッカー取得プログラム

# SBI証券から海外のティッカーまたはコードと銘柄を取得
from bs4 import BeautifulSoup
import re, sys, time
import requests
import pandas as pd

sbi_foreign_stock_list = [
  {"america":   {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_usequity_list.html", "tag": "table", "c_cd":"", "class": "md-l-table-01 md-l-utl-mt10"}},
  {"china":     {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_hk_list.html",       "tag": "div",   "c_cd":"HK", "class": "accTbl01"}},
  {"korea":     {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_kr_list.html",       "tag": "div",   "c_cd":"KS", "class": "accTbl01"}},
  {"russia":    {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_ru_list.html",       "tag": "div",   "c_cd":"ME", "class": "accTbl01"}},
  {"vietnam":   {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_vn_list.html",       "tag": "div",   "c_cd":"VN", "class": "accTbl01"}},
  {"Indonesia": {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_id_list.html",       "tag": "div",   "c_cd":"JK", "class": "accTbl01"}},
  {"Singapore": {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_sg_list.html",       "tag": "div",   "c_cd":"SI", "class": "accTbl01"}}, # SBIとyahooのティカーが一致しない件
  {"thailand":  {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_th_list.html",       "tag": "div",   "c_cd":"BK", "class": "accTbl01"}},
  {"malaysia":  {"url": "https://search.sbisec.co.jp/v2/popwin/info/stock/pop6040_my_list.html",       "tag": "div",   "c_cd":"KL", "class": "accTbl01"}} # SBIとyahooのティカーが一致しない件
]

for foreign_dict in sbi_foreign_stock_list:
  for country, values in foreign_dict.items():
    country_url = values["url"]
    country_tag = values["tag"]
    country_code = values["c_cd"]
    country_class = values["class"]
    html = requests.get(country_url)
    soup = BeautifulSoup(html.content, "html.parser")
    for table_soup in soup.find_all(country_tag, class_=country_class):
      stock_data = []
      rows = table_soup.find_all("tr")
      for row in rows[1:]:
        ticker = row.find_all("th")[0].text.strip()
        cols = row.find_all("td")
        name = cols[0].text.strip()
        stock_data.append((ticker, name))
      continue

    df_foreign_stock = pd.DataFrame(stock_data, columns=["コード", "銘柄名"])
    df_foreign_stock["コード"] = df_foreign_stock["コード"].astype(str) + country_code
    df_foreign_stock.to_csv(out_oth_fol + country + "_stock_list.csv")
    time.sleep(2)

これを流用すれば取得できますが、今のサイトではできません。少し前のサイトがこちらです。こちらであれば取得できますが、最新のティッカー情報が取れないので修正します。

最近読んだ"プログラマー脳"はプログラムを書く人は読んだほうが関わる人全員が幸せになる話だった

Fri, 07 Jun 2024 00:00:00 +0000

読書習慣とおすすめの一冊「プログラマー脳」

読書をするということを習慣化しているのですが、たまたまどっかの記事で見かけて買ったプログラマー脳は読んでおくといいなと思ったので記事にしました。こちらから買えます。

私の読書習慣

ちなみに私の読書週間としては

毎日20:30~21:30までは読書をする
電車に乗って満員200%じゃなければ読む(大体10分ほど)

没頭するほど集中力が続かないこともあるのでちょこちょこ休憩しながら読んでいます。

読書のスタイル

読み方は状況によりけりですが、例を出すところは飛ばすことが多いです。実体験や見聞きしたことよりは論文やデータから見た考察とかのほうが個人的にはいいかなと思うので。

人によっては例があったほうがイメージがわかりやすいので、そっちを中心に読む人もいるかと思いますが、全てを読む必要はないかなと思います。特にある程度知っている内容なら。

感想と本書の概要

本の要約は場合によっては著作権違反になったりするので、私の感想をメインにしつつ引用を少し出しながら書いていこうと思います。

この本で一貫して書かれていることが認知負荷を減らすようにしましょうという話になります。

認知負荷とプログラミング

人間には短期記憶、長期記憶、ワーキングメモリがあり、短期記憶はコードに置き換えると変数、長期記憶は構文(forやif等)、ワーキングメモリは処理の内容になります。認知負荷はワーキングメモリに関わってきます。

コードを読むときにどんな処理になっているのがわからないということがあります。その時、単純に言語の情報が足りないのか？構文がわかっていないのか？処理内容がわかってないのか？ということがあります。ドメイン知識も関係してそうですがここでは言及されていません。

認知負荷の軽減方法

言語の情報や構文についてはある程度調べて覚えれば大丈夫なのですが処理内容に関しては自身の記憶だけではどうにもなりません。すでに書いてあるものを改修したりする場合は大変な作業になると思います。

ちなみに本書では言語の構文などの覚え方や定着の仕方なども言及しているので、気になればぜひ読んでみてください。

命名やコードの整理の重要性

認知負荷についてはいくつか気を付けるポイントが書いてあり、命名の仕方やコードを適切に分けて関数化することについて書いています。関数化じゃなくてもクラス化でもいいと思います。

他人のコードを読む際のコツ

それから人のコードを読む際に良い方法も書いてあります。変数同士を結び付けて紙に書いたり、パッドで書き込むのもいいと思います。

割り込みタスクと新人サポートについて

他の内容としては割り込みタスクが入るや新人へのサポートについて書かれていました。ここもためになりますね。

読書の重要性

本を読むといろんなことが知れます。技術的な面ももちろん必要ですが、メンタルや考え方なども必要だと思います。

他にも本を読んでいるのでいくつか面白いものがあれば紹介したいなとは思います。

Kindle Unlimitedのおすすめ

ちなみにKindle Unlimitedは速く本を読んで理解するのにおススメです。月額で読み放題だし、内容が薄いものはバンバン飛ばし読みもできるので練習にもなります。ではでは。

ニューラルネットワークの仕組みを理解しているかテストするためのゲームで遊ぶ

Wed, 05 Jun 2024 00:00:00 +0000

機械学習と深層学習の復習

G検定やE資格である程度機械学習や深層学習で使われている技術を学んだのですが、特に深層学習についてはあやふやな部分が多いなと感じていました。

とはいえまた学習教材を買うのもと思ってましたが、良いサイトを見つけました。

Graph Game: ニューラルネットワークの理解度をテスト

Graph Gameというニューラルネットワークを理解しているかわかるサイトになります。(こちらから遊べます。)

とはいえこのサイトでできるのはRNN、LSTM、GRU、ResNet、Deep RNNのテストになります。CNNやGANなどはテストできません。

RNNのテスト

まずはRNNから試してみましょう。“clicks” は繋げた回数、“edges remaining” は繋げる必要がある本数、“extra edges” は余計な繋がりの本数になります。

RNNについて補足すると連続的なデータや時系列データを処理するのに最適です。株価などの時系列分析、テキスト生成、音声認識など様々なところに使われる重要なニューラルネットワークです。

ちなみにHelpはチュートリアルの確認になります。

もし正解できれば画面の文字が左上にでます。何回でも挑戦できるので理解しながらつなげてみましょう！

LSTMのテスト

LSTMはこんな感じ。

長い依存関係を持つ時系列データの処理に向いています。RNNでは勾配消失問題が発生するのでそれを解消するために考えられました。3つ(入力、忘却、出力)のゲートを使って重要なデータは保持、不要なデータは捨てます。

GRUのテスト

GRUはこんな感じ。

補足するとGRUはLSTMの精度を保ったまま計算量が少ないと言われています。GRUは2つ(リセット、更新)のゲートで情報を制御します。

ResNetのテスト

ResNetはこんな感じ

補足すると深い層のニューラルネットワークで使われ、画像認識で使用されています。残差ブロックがあり、skip connectionで直接値を渡すことで勾配消失問題が解消されます。

Deep RNNのテスト

最後にDeep RNNはこんな感じ。

Deep RNNの補足としては複数のRNN層を組み合わせたものになります。より複雑なパターンを学習することができます。

まとめと感想

少し忘れていたのでここで視覚的に思い出せました。初めての人でもなんとなくでわかるようになるし、ある程度知っている人も視覚的に覚えられるので良いと思います。

忘れていた処理を思い出せたので良かったです。他の深層学習や機械学習でも視覚的にわかるようなサイトがあるとイメージが付きやすそうですね。ではでは。

自分が作ったAIが赤の他人のAIとSNSでやり取りする姿は面白い

Sun, 02 Jun 2024 00:00:00 +0000

AI同士のやり取りを見てみたい？

AI同士がやり取りするのは見かけたことがあっても、自身が作ったAIと人が作ったAIのやり取りを見てみたい！と考えたことはありますか？私はありません（笑）

ただ、気になって試したら面白く時間が経って確認してみるとフォロワーが増えたり、知らないAIとやり取りしてたり面白いです。

サイトへのアクセスと初期設定

それではこちらのサイトにアクセスしてみてください。初期画面はこんな感じ

ログインとAIの作成

ログインしてみましょう！方法は複数あるのでお好きな方法を使ってください。

では、早速作ってみましょう！Chirperから作成をしてみましょう。私はすでに2つ作っていますが、新しく作ってみます。Vanaというサイトからインポートもできるみたいです。

AI作成のステップ

作成画面はこんな感じ。アイコンはヘッダーは勝手に作られますので名前、ハンドルネーム、性格、容姿の設定を行いましょう。半生は作らなくても大丈夫です。

作成後の様子

ある程度設定を練って作りこんだら保存しましょう。作った直後は何も変わらないので、しばらく待ちます。ちなみに作った直後はこんな感じ。

AIの反応を観察

ということでしばらく放置していたらこんな感じになりました。

ただ、ちょっと思ってたのとは違いましたが、まあいいかということでそのままにしました。

投稿や返信もしてるみたいで楽しそうです。たくさん作った後、自身の作ったAI同士で会話し始めると見てて面白そうだなとは思いますね。他にも細かい設定などができるので、是非試して遊んでみてください。

今回は少し暇つぶしになるもので遊んでみました。ではでは。

RAGを開発してみたい！ので簡単なものでもいいので作ってみよう！part10 完

Fri, 31 May 2024 00:00:00 +0000

RAG開発の一旦終了と成果物の共有

とりあえず目標としていたものが完成したので開発はこれで一旦終わりとします。

完成して動いたものを動画にして3つほどはります。

動画の内容とモデルの読み込み

ファイル数別に動画を取ってみました。ベクトルモデルの読み込みと読み込ませるテキスト量によって時間が変わってきます。

モデルの読み込みとかはOpenAIに変わったぐらいで大きく変更したところはないですが一部お見せします。

    def generate_response(self, prompt: str, max_tokens: int = 3000) -> str:
        try:
            client = OpenAI(
                # This is the default and can be omitted
                api_key=os.environ.get("OPENAI_API_KEY"),
            )

            response = client.chat.completions.create(
                model="gpt-4o",  # 使用するモデルを指定
                messages=[
                    {"role": "system", "content": "You are a helpful assistant."},
                    {"role": "user", "content": prompt}
                ],
                max_tokens=max_tokens,
                n=1,
                stop=None,
                temperature=0.7
            )
            print(response)
            return response.choices[0].message.content
        except Exception as e:
            logging.error(f"エラーが発生しました: {e}")
            return "申し訳ありませんが、応答を生成する際にエラーが発生しました。"

この辺をGPT-4oに聞いてみたのですが最近のコードを提示してくれなかったので、chatを作成する部分はgit-hubを参考に作りました。こちらです。

Flaskの設定と変更点

それからFlaskの部分ですね。

オープンソースのLLMアプリ開発プラットフォーム"Dify"を使ってみたよ

Mon, 27 May 2024 00:00:00 +0000

Difyを使ったLLM開発アプリの導入と設定

LLM開発アプリの選択肢としてDifyがあると聞いたので触ってみました。

最後にはこんな感じになるといいなと思ったものになります。

Dify_クラウド版とローカル版の比較

やり方は2つあります。クラウド版とローカル版の2つなります。お好きな方を使っていただければと思いますが、ローカル版のほうが個人的にはいいかと思います。

クラウド版の導入方法

クラウド版に関しては登録するだけで使えます。画面はこんな感じ

ローカル版の導入手順

ローカル版はGItとDockerが必要になるのでない人はインストールから始めましょう

Difyのインストールとセットアップ

DockerはDocker Desktopを導入しておけば大丈夫です。docker composeも入っているので一緒にインストールされます。

ではコマンドプロンプトを開いて開発する場所にgit cloneでdifyをインストールします。コマンドはこちら

git clone https://github.com/langgenius/dify.git

Docker Composeの起動

インストールが出来たらdocker compseを起動させるのでフォルダを移動します。開発場所にdifyをインストールできたと思うのでdockerフォルダに移動します。

cd docker

フォルダの移動が出来たらdocker composeの起動をします。起動できるとこんな感じ

docker compose up -d

アプリ作成の開始

起動したらURLを入力して画面を表示させてみましょう！クラウド版とそこまで変わりません。

URL: http://localhost/apps

テンプレートから作成でもいいですが、私は最初から作成してみました。こんな感じ。今回はチャットボットを作ってみますので適当に名前を付けて作成します。

LLMモデルの設定

アプリが出来たらこんな感じの画面ができます。今回はgptモデルを使っていこうと思います。

設定から色んなLLMモデルを選ぶことができます。今回はOpenAIを使用するのでOpenAIのAPI-KEYをセットしました。他に使いたいモデルがあればそのAPI-KEYを設定すれば使えます。

それから使用するモデルは"システムモデル設定"から設定します。他のモデルも設定すればそちらも使えるようになります。

ナレッジの登録

今回作るチャットボットはRAGなので次はナレッジを登録します。“知識を作成"からファイルを登録してインデックス化していきます。

ファイルのアップロードをします。私が本来作りたいのは15000ファイル位あったのでそこまではアップしませんが、いくつか登録します。

アップロードが完了してインデックス化が完了すると利用可能というステータスになります。エラーになってるものは利用できないので、再試行かアップのし直しでインデックス化を試みてください。

アプリのプロンプト設定とテスト

ナレッジの登録が完了したらいよいよアプリの作成です。手順つまりプロンプトを設定して、コンテキストに作ったナレッジを設定します。今回は取得したナレッジを要約するように指示します。

設定したら公開するからアプリ実行をします。するとチャット画面に移動します。

Star Chatからチャットを打ってどんな感じか動かしてみます。まず使えるファイルが1つだけだったので"特許権について"と聞いてみました。

中を見たのですが合っていました。とは言え私は法律の専門家ではないのでよくわかってないですが、雰囲気的には合ってそうです。

エラーの対応と改善

一応やってるときにエラーが出たりしたのでその時の話も共有します。アプリの作成途中でこんな感じのエラーが出ました。

どうやら課金のチャージができていなかったようです。そこでOpenAIのサイトでチャージしたらこのエラーは解消されました。

APIあまり使ってなかったのですが、こういうことが起こるので自動設定でチャージさせるようにしました。ただ、悪用されたら怖いので注意を払う必要がありますね。

Difyを活用した応用の可能性

これがうまいことできれば他のファイルでもできそうなので色んなとこで応用できそうです。もちろんセキュリティの問題が付きまといますので専門的な知識や暗黙知とかのファイルであれば有効活用できそうですね。ではでは。

RAGを開発してみたい！ので簡単なものでもいいので作ってみよう！part9

Fri, 24 May 2024 00:00:00 +0000

一旦行き詰ったのでここまでを記録として残しておきます。

行き詰った内容としてはローカルで実行できないこと、無料枠のcolabを利用してもダメだったことです。

今回実施した内容としては以下

ベクトルデータベースの完成
生成モデルを利用して質問＋ファイルの内容を分割してプロンプトを投げる

‘paraphrase-multilingual-mpnet-base-v2’を利用したベクトルデータベースの作成が完了したのでGithubにあげようとしたのですが、jsonファイルは2GB以上、zip化しても500MB以上あったので断念しました。100MB未満なら簡単にあげられるのですが、それ以上はもう少し手順が必要みたいです。

このファイル作るのに1週間近くはかかるんだなと思いました。ファイル数が多かったのもあるかもしれませんが、こんなに大変なんだなと実感しました。この記事でベクトルデータベースの容量削減について書かれていますが、精度とかはまだ分かってないのでなるほどぐらいで終わりました。

生成モデルを利用したプロンプトの作成と推論コードはザックリと以下になります。

    def load_or_download_genmodel(model_name: str, local_dir: str) -> tuple[PreTrainedTokenizer | PreTrainedTokenizerFast, PreTrainedModel|SentenceTransformer]:
    # ローカルディレクトリが存在しない場合は作成
    if not os.path.exists(local_dir):
        os.makedirs(local_dir)
    # モデルがローカルに存在するかをチェック
    if not (os.path.exists(os.path.join(local_dir, 'config.json')) and
            os.path.exists(os.path.join(local_dir, 'tokenizer_config.json'))):
        # モデルが存在しない場合はダウンロードして保存
        print(f"Model not found locally. Downloading {model_name}...")
        tokenizer = AutoTokenizer.from_pretrained(model_name, force_download=True)
        model = AutoModelForCausalLM.from_pretrained(model_name, force_download=True)
        print(f"Saving model and tokenizer to {local_dir}...")
        tokenizer.save_pretrained(local_dir)
        model.save_pretrained(local_dir)
    else:
        # モデルが存在する場合はローカルからロード
        print(f"Loading generative model and tokenizer from {local_dir}...")
        tokenizer = AutoTokenizer.from_pretrained(local_dir)
        model = AutoModelForCausalLM.from_pretrained(local_dir)
    
    return tokenizer, model

    def process_text_in_chunks(self, question, text, model, tokenizer):
        for chunk in chunks:
            prompt = f"{question}\n\n{chunk}"
            inputs = tokenizer(prompt, return_tensors="pt", max_length=50, truncation=True)
            input_ids = inputs["input_ids"]
            attention_mask = inputs["attention_mask"]
            output = self.generative_model.generate(input_ids=input_ids, attention_mask=attention_mask, max_new_tokens=100, num_beams=3)
            result_text = tokenizer.decode(output[0], skip_special_tokens=True)
            combined_result += result_text + "\n"
        
        return combined_result

    def main(self, question):
		    # コサイン類推度から近いファイルを取得し、テキストを抽出→ここでは省く
        result = self.process_text_in_chunks(question, text, self.generative_model, self.tokenizer)
        return result

if __name__ == '__main__':
    # 生成モデルをロードまたはダウンロード
    tokenizer, gen_model = load_or_download_genmodel(gen_model_name, gen_local_dir)
    cos_sim_calc = CosSimCalc(gen_model, tokenizer, emb_model)
    cos_sim_calc.main(question = '著作権について教えて下さい。')

いろいろ試して見たんですがローカルだと動かないですし、高性能GCPを買うまではいかないので、クラウドで実行するかOpenAIなどのAPIに頼ることになりそうです。

RAGを開発してみたい！ので簡単なものでもいいので作ってみよう！part8

Tue, 14 May 2024 00:00:00 +0000

前回問題としていたベクトル化についてですが解決して、ようやく2つ目の目標が終わりました！

まずはこちらをご覧ください。

こんな感じになりました。

今はまだファイル数は20~30なのでまだまだ足りませんが、前回に比べるとかなりましになりました。

今回やったこととしては

OpenAIのベクトル化からSentence Transformerを使用したベクトル化に変更
全ファイルをベクトルデータベースとしてjsonファイルに格納

になります。そのため一旦別プログラムでファイルを全てベクトル化し、画面に表示をさせるときはそのファイルを読み込んで類似度の計算を行っています。

前のコードとそこまでは変わってないので変わった部分で言うと

class PDFToVector:
    def __init__(self, model_name: str):
        # モデルを読み込み
        self.model = SentenceTransformer(model_name)

    def split_text2vector(self, text: str, max_tokens=200) -> List[float]:
        vectors = []
        for i in range(0, len(text), max_tokens):
            segment = text[i:i+max_tokens]
            vector = self.model.encode(segment, convert_to_tensor=True)
            vectors.append(vector)
        average_vector = np.mean(vectors, axis=0).tolist()

    def embed_sentence(self, text: str, vector_fol: str, filename: str, vector_database: List) -> List:
        embedding = self.split_text2vector(text)
        vector = {
            'title': filename,
            'body': text,
            'embedding': embedding
        }
        vector_database.append(vector)
        
    def main(self):
        # ベクトルデータベースを格納
        with open(vector_db_json, 'w', encoding='utf-8') as file:
            json.dump(vector_database, file, ensure_ascii=False, indent=4)

こんなとこだと思います。一部処理を省略していますが大体の変わったとこはここになります。

RAGを開発してみたい！ので簡単なものでもいいので作ってみよう！part7

Thu, 09 May 2024 00:00:00 +0000

目標としていた部分が完成したのでデモ版という形でお見せしようと思います。

想定していた形が取れたので割と嬉しいですね！ただ、上記はファイルが2つの場合でこのくらい時間がかかっています。

次はファイルが5つの場合です。

かなり時間がかかってますね。というのも実行するたびファイルをベクトル化しているので時間がかかる仕組みになっています。

実行するたびopenaiのAPIもたたいているので料金も増えていきます。ということで次の課題は

openaiのベクトル化ではない代替手段を見つける
ベクトルデータベースを作成する(すべてのファイルをベクトル化して、どこかに保存)

ひとまずはこの2つですかね？

代替手段は見つければ何とかなりそうなので時間はかからないと思いますが、ベクトルデータベースの作成は異なるプログラムを作る必要がありそうですし、質問をベクトル化するプログラムの改修も入りそうなので少し時間がかかるかもですね。

第二目標ほど時間はかからないと思いますが…

今回修正した箇所はflaskを使用した場所と応答画面の作成になります。flaskは微修正だったので割愛しますが、画面のほうは以下のようになりました。

'use client';

import { useState } from 'react';

export default function QuestionForm() {
  // サーバーからの結果を保持する状態変数
  const [result, setResult] = useState('');

  const handleSubmit = async (e) => {
    e.preventDefault();
    const question = e.target.elements.question.value;

    // サーバーにPOSTリクエストを送る
    const response = await fetch('http://localhost:5000/process', {
      method: 'POST',
      headers: {
        'Content-Type': 'application/json'
      },
      body: JSON.stringify({ query: question })
    });

    // サーバーからのレスポンスをJSON形式で取得
    const data = await response.json();
    // 結果を状態変数に保存
    setResult({ title: data.title, body: data.body, similarity: data.similarity } || 'No result returned'); // デフォルトで"結果がない"と表示
    e.target.reset();
  }

  return (
    <div>
      <form onSubmit={handleSubmit}>
        <textarea
          name="question"
          placeholder="質問を入力してください"
          rows={5}
        />
        <button type="submit">送信</button>
      </form>
      
      {/* サーバーからの結果を表示 */}
      <div>
        <h3>回答:</h3>
        <p><strong>タイトル:</strong> {result.title}</p>
        <p><strong>類似度:</strong> {result.similarity}</p>
        <p><strong>内容:</strong> {result.body}</p>
      </div>
    </div>
  )
}

画面にタイトルと類似度と内容が表示されるようになってます。必要ないかもしれませんが、デフォルトでは結果が表示されない文言を出しています。多分出ることはないですが…

RAGを開発してみたい！ので簡単なものでもいいので作ってみよう！part6

Sat, 04 May 2024 00:00:00 +0000

PCが故障したという話をしたのですが、コンセントから電源が抜けてたというオチでした。

なのでRAGの開発を再開しました！

前回開発した部分は

質疑応答画面の作成

今回開発する部分は

画面(Next.js)から送られるデータを受け取るエンドポイントをFlaskに設定
ベクトル化するプログラムをクラス化

Flaskも触ったことないのでChat-GPTに質問しながら触ってました。一旦中身は以下の内容にしています。

from flask import Flask, request, jsonify
from flask_cors import CORS
import pdf_to_model
import logging

logging.basicConfig(level=logging.DEBUG)
app = Flask(__name__)
CORS(app)

@app.route('/process', methods=['POST'])
def process_question():
    data = request.get_json()
    query = data.get('query')
    logging.debug("Received query: %s", query)
    try:
        vector = pdf_to_model.PDFToVector()
        result = vector.main(query)
        # 結果を JSON 形式で返す
        return jsonify(result[0])
        # return jsonify({'result': 'Processed result of ' + query})
    except Exception as e:
        logging.error("Error processing query: %s", str(e))
        return jsonify({'error': str(e)}), 500

if __name__ == "__main__":
    app.run(debug=True)

ログの設定はする必要はないですが、まだ開発段階なので一旦設定しています。それから"CORS(app)“ですね。少し調べたのですが異なるオリジン間でのリソース共有を可能にするために必要な設定みたいです。そもそも同一のオリジンとは以下の3つが同じであることが条件です。

PC故障したので開発を中断しています

Wed, 24 Apr 2024 00:00:00 +0000

題名の通りPCが故障しました( ;∀;)

使っていたのはこちらになります。

性能としてはに以下になります。

RAM: 16GB
SSD: 512G
11世代 Core i5
GeForce RTX 3050 + Intel UHD Graphics

修理に関してはパソコン修理24に依頼しました。近場の店舗に問診票を提出したので返信が返ってきたら出してこようと思います。

もう一つPCホスピタルという場所もありましたが、値段が少しだけ高かったので見送りました。とはいえ5千円くらいですし、Googleの口コミだと悪い評価もあったので次回故障した場合はこっちに頼もうかと思いますが…

作ったものをGithubにしっかりとコミットしておけばよかったのですが、面倒だったのでやらなかったのが失敗でした。修理から帰ってきたら変更のたびにコミットしようと思います。

社内で作ったものであれば更新するたびにコミットしてますが、現場では修正が完了したらコミットなので見直した方がいいのかもしれないですね。

一応次回はFlaskを使ってpythonとNext.jsの受け渡しの部分を行おうと思っています。

また、前回Next.jsを選定した理由を書きましたが、コストの面について考えていなかったのでもしかしたらReactに変えるかもしれません。予定は未定です。

少し落ち込んでますが、この修理が完了するまではVRで遊んだり本を読んだりして日々を過ごそうかと思います。ではでは。

RAGを開発してみたい！ので簡単なものでもいいので作ってみよう！part5

Mon, 22 Apr 2024 00:00:00 +0000

さて前回までやったこととしては

全データのベクトル化(途中で断念)
画面の作成(Next.jsのインストールと起動)

というところまでやってみました。今回は

質疑応答画面の作成

というところまでやってみます。Next.jsは初めて触るので進みが遅々としていますがご了承ください。

さてインストールするタイミングでこのようなことを聞かれました。

Would you like to use TypeScript? » No / Yes
Would you like to use ESLint? » No / Yes
Would you like to use src/ directory? » No / Yes

他にもいくつか聞かれたので一応Claudeにどんな意味があって導入することのメリットデメリットを聞きながら質問に答えました。大体Yesにしましたが…

さて前回の画面表示まで行けたのでここからどう作業を進めればいいのかわかってなかったので聞いてみました。

ということで質疑応答画面を作っていきます。本格的なデザインは気にせずに簡易的なものを作っていきます。

と言ってもからコード書くのは大変ですし、学ぶのにも時間がかかるので今回もClaudeに手伝ってもらおうと思います。それで最初書いてもらったコードがこちら

page.jsx

import QuestionForm from './components/QuestionForm';

const HomePage = () => {
  return (
    <div>
      <h1>RAGシステム</h1>
      <QuestionForm />
    </div>
  )
}

export default HomePage;

QuestionForm.jsx

import { useState } from 'react';

const QuestionForm = () => {
  const [question, setQuestion] = useState('');

  const handleSubmit = (e) => {
    e.preventDefault();
    // 質問をサブミットする処理をここに書く
    console.log('Submitted question:', question);
    setQuestion('');
  }

  return (
    <form onSubmit={handleSubmit}>
      <textarea
        value={question}
        onChange={(e) => setQuestion(e.target.value)}
        placeholder="質問を入力してください"
        rows={5}
      />
      <button type="submit">送信</button>
    </form>
  )
}

export default QuestionForm;

ちなみに上記の書いてる内容はよくわかってないのでこっちはChat-GPTに解説してもらってました。新卒の時の研修で書いたHTMLやJSを思い出します。

RAGを開発してみたい！ので簡単なものでもいいので作ってみよう！part4

Fri, 19 Apr 2024 00:00:00 +0000

前回で一通り作りたいものが作れたのでこの先はWebアプリ化できないかな～？という緩い感じで進めていこうと思います。

前回行ったのは

検索クエリのベクトル化
コサイン類似度の計算

今回行ったのは

pdfファイルの全データベクトル化(途中で断念)
Web画面の作成(一部)

pdfファイルのベクトル化に関しては前回やったのでそれをfor文で回してます。pdfは1つ1つ出力するようにして、後ほど全体を結合しようとしていました。

file_path_list = glob.glob(input_pdf+'/*.pdf')
for pdf_path in file_path_list:
    # 前回やったベクトル化
    ・
    ・
    ・
    # JSON形式でベクトルデータベースを保存
    with open(json_save_name, 'w', encoding='utf-8') as file:
        json.dump(vector_database, file, ensure_ascii=False, indent=4)

大体2500ファイルぐらいベクトル化したのですが、9$くらいになってました。残り12000ファイルほどあるので少し時間がかかるのと料金も計50$近くになりそうだったのでいったん中断しました。

別の作業としてWeb画面を作っていこうと思ったのでまずは技術の選定からですね。ここに関してはChat-GPTとClaude両方に聞いてみましたが、Claudeのほうを採用しました。こんな感じです。Googleストアと書いたんですが1ミリも予定はないです（笑）

返ってきた回答がこちら

ということでおすすめにしたがってNext.jsにしようと思います。ユーザーのストレスを考えるのは今じゃなくてもいいんですがせっかく自身のスキルにもつながるので選びました。

ちなみにおススメした理由とかわかってなかったのでいくつか聞いてみました。

なぜNext.js(React)+Tailwind CSS や Vue.js はreactに比べてユーザーにストレスがかかりにくいのですか？
単一ページアプリケーション(SPA)とはどういうものでしょうか？
Flash Of Unstyled Content(FOUC)や、SPAでよくみられるバンク画面の発生とはどういったものでしょうか？
バックエンドではpythonを使用しているのでpythonフレームワークのflaskやdjangoという選択肢もあったと思いますが、なぜ候補から外れたのでしょうか？
フロントエンドフレームワークとバックエンドWebフレームワークの違いは何ですか？

そこからいろいろ聞いていた結果、Next.jsとFlask(python)の組み合わせにしようと思います。Webについては全く分からなかったので色々聞いてみました。流れとしては以下の感じです。

Web画面から入力を受け取る
画面から受け取った入力を引数としてpythonに渡す
pythonで引数をベクトル化しコサイン類似度の計算を行う
pdfファイルを全てベクトル化して結合したものを取得して、入力に類似しているファイルのタイトルと内容を取得する
取得したタイトルと内容を画面に表示する

1と5がNext.js、2がflask、3と4がpythonという流れでやる予定で、今回は1をやっていきます。

というわけでまたClaudeに使い方を聞いて進めていきます。

これでインストールとプロジェクトの作成が完了して、デフォルトの画面が表示されるようになりました。こんな感じです。

私はvscodeを使っているのですがターミナルからうまく実行できてないので少し調べる必要がありますね。それから"AppData/Roaming"の中にnpmというファイルが必要なのですが、インストールで作成されなかったので手動で作成したりと少し導入で手間取ってしまいました。

今回はここまでにして次回は簡単な画面を作成していこうと思います。恐らく稚拙な画面になりそうですがまずは作るとこらからです。ではでは。

RAGを開発してみたい！ので簡単なものでもいいので作ってみよう！part3

Sun, 14 Apr 2024 00:00:00 +0000

このpartで目標としていた基本形は作れたことになります。簡単な質問で"タイトル"と"内容"が返ってくるものになります。

前回やったのは

特殊文字の削除
大文字小文字統一
ベクトル変換

今回行ったのは

検索クエリのベクトル化
コサイン類似度の計算

になります。ベクトル化に関しては前回も行ったので同じものになります。

# これが検索用の文字列
QUERY = '保険金が欲しい'
# 検索用の文字列をベクトル化
query = openai.embeddings.create(
    model='text-embedding-3-large',
    input=QUERY
)
# ベクトル取得
query = query.data[0].embedding

ちなみにモデルの部分に関しては’text-embedding-3-large’の他に’text-embedding-3-small’もありますのでお好きな方を使ってください。精度はlargeのほうがいいですが料金は下がると思います。

次はコサイン類似度の計算になります。こちらは昔OpenAIでも提供されていたみたいですが、前のバージョンで提供されていたみたいなので他のもので代用します。簡単に自作できますがめんどくさい方はsklearnでも提供されているのでそちらを使ってください。

import numpy as np

def cosine_similarity(v1, v2):
    # ベクトルのドット積
    dot_product = np.dot(v1, v2)
    # ベクトルのノルム
    norm_v1 = np.linalg.norm(v1)
    norm_v2 = np.linalg.norm(v2)
    # コサイン類似度
    similarity = dot_product / (norm_v1 * norm_v2)
    return similarity

# 総当りで類似度を計算
results = map(
        lambda i: {
            'title': i['title'],
            'body': i['body'],
            # ここでクエリと各文章のコサイン類似度を計算
            'similarity': cosine_similarity(i['embedding'], query)
            },
        vector_database
)
# コサイン類似度で降順（大きい順）にソート
results = sorted(results, key=lambda i: i['similarity'], reverse=True)

これで関連するファイルと内容が取得できます。‘result[0]‘であれば最も関連するもの、‘result[-1]‘であれば関連しないものあるいは反対のものになります。反対かどうかはコサイン類似度の値が負の値になってるかで確認できます。

RAGを開発してみたい！ので簡単なものでもいいので作ってみよう！part2

Fri, 12 Apr 2024 00:00:00 +0000

このpartで基本が8割がた作れました。内容としては簡単な質問をすると"タイトル"と"内容"が返ってくる程度です。まだまだ理想には遠いですね。

前回やったのは

PDFファイル読み込み
ページ番号取得と削除
色んな空白を削除

今回行ったのは

特殊文字の削除
大文字小文字統一
ベクトル変換

この辺も全てChat-GPT任せでした。特殊文字に関してはURLとメールアドレス、特殊文字の削除になります。まあ私が扱ってるものの中にURLやメールアドレスはあまりなさそうですが、一般的には必要だと思います。

text = re.sub(r'http[s]?://\S+', '', text)
text = re.sub(r'\S*@\S*\s?', '', text)
text = re.sub(r'[!#\$%&\'()*+,\-./:;<=>?@\[\\\]^_`{|}~]', '', text)

次は大文字小文字の統一ですね。これが少し特殊ですが例えば “１２３ａｂｃｱｲｳｴｵ①②③¹²³"という文字があった時に"123abcアイウエオ123123"となるように変換しています。これもあまり使われてないと思いますが、一応変換しています。

normalized_text = ''.join([unicodedata.normalize('NFKC', char) if not unicodedata.east_asian_width(char) in ('F', 'W', 'A') else char for char in text])

それからベクトル変換ですね。OpenAIの埋め込みベクトルに変換していきます。課金が必要なので他のやり方がないか考えたいところですが、簡単に実装するために使用します。いつかはTF-IDFかWord2Vecを使ってみたいです。

openai.api_key = os.environ['OPENAI_API_KEY']
vector_database.append({
        'title': filename,
        'body': text,
        'embedding': vector
    })

課金といっても10000字くらい埋め込みベクトルに使っても0.01$もかかりませんので数円くらいならお試しで触ってみてください。

一つだけ注意点を話すと8192トークンまでしか入力として受け取れないので、もし文字数が多くなる場合は分割して、それぞれの平均を取るといいかと思います。私の場合はとりあえず7000文字くらいで分割しています。

for i in range(0, len(text), max_tokens): # max_tokens=7000
    segment = text[i:i+max_tokens]
    res = openai.embeddings.create(
            model='text-embedding-3-large',
            input=segment
        )
    vectors.append(res.data[0].embedding)
average_vector = np.mean(vectors, axis=0).tolist()

そういえばいつからかはわかりませんが埋め込みベクトルの数値を取り出す方法が変わってたみたいで、‘res[data][0][embedding]’ から ‘res.data[0].embedding’に変わっています。前の方法が良ければバージョンを下げていただければ大丈夫です。

RAGを開発してみたい！ので簡単なものでもいいので作ってみよう！part1

Sun, 07 Apr 2024 00:00:00 +0000

大規模言語モデルが出てきてChat-GPTやGemini、Claudeが出てきましたが、“ハルシネーション"は中々解決できない問題ですね。人間でも勘違いや嘘を堂々と言うことはあるのでどっこいどっこいですが、なるべくなら減らしていきたいですね。

そこで出てくるのが"RAG"になります。RAG（Retrieval-Augmented Generation）は、情報検索を組み込んだ生成モデルで、特に自然言語処理タスクでの応用が注目されています。RAGは、大量のテキストデータから関連情報を検索し、その情報を基に関連するテキストを生成します。

というわけで開発手順をChat-GPTとClaudeに聞いてみました。

大体似たような回答になりました。

データセットの準備と前処理
検索エンジンの構築
学習済みモデルの構築
RAGモデルの構築(検索エンジンと学習済みモデルを統合)
モデルのトレーニング
モデルの評価と調整

という流れになりました。

データセットの準備のほうはできています。私は昔作ったこちらを再利用しようと思いますが、論文やら書籍をダウンロードしたほうが楽だと思います。

というわけでデータセットの準備が終わったので今度は前処理をしていこうと思います。私のデータはPDFになってるので文字を抽出して、不要な文字を削除するところまでやります。

ということでgithubには登録しましたが一部コードをピックアップして

# PDFPage.create_pages()を使用してページのリストを取得し、その長さを数える
page_count = len(list(PDFPage.create_pages(document)))

# スペース、タブ、改行を削除
text = text.replace(' ', '').replace('\t', '').replace('\n', '')
# 正規表現を使って他の空白文字を削除
text = re.sub(r'\s+', '', text)

簡単ではありますがページ番号の削除と空白削除を行いましたので、とりあえず次のステップに進もうと思います。何をしたらいいかChat-GPTとClaudeに聞いてみました。

Claude曰く形態素解析や正規化は行わなくてもいいみたいなので、一旦インデックスの作成をやっていこうと思います。ただ色々試行錯誤してやった方が精度が上がりそうであればやろうと思います。

ところでClaudeに聞いたときこのような解答が返ってきたことがありました。野球って何でしょうか？（笑）

ということで引き続き開発を進めていこうと思います。この先llamaindeを使うのか他のAPIを使うのか、ベクトルデータベースはどうするのか調べながら考えてみようと思います。ではでは

やっていたKaggleのコンペが終わったので少し振り返る

Mon, 01 Apr 2024 00:00:00 +0000

私が参加していたコンペ(こちら)が終わったので少し振り返ってみようと思います。

一応私の経歴を軽く話すとデータサイエンティスト的な仕事をしつつも予測や分類自体はしたことなく、データセットの作り方や加工の作業がメインでpythonに関してはある程度分かっているという状況です。

そのうえでG検定やE資格を取得済みなので、機械学習や深層学習の知識はある程度ある形でKaggleを始めて挑んでみました。

定石としてタイタニックを触るべきですが、タイタニックのランキングを見てもつまらないので今開催されているSwagやKnowledgeと呼ばれるタイプのコンペに参加してみることをおススメします。

こちらの本でも言及されているのですがどうもタイタニックのデータは初心者向けではないみたいです。初心者を抜けた人向けなイメージです。

それはさておき今回のコンペでは一旦自身で加工してみてモデルを作って提出をするという流れをやってみました。

そこまでは前回のブログでも書いてました。その後ですが他の人のコードをを見て、Chat-GPTに解説してもらって分からない点を質問するということをひたすら繰り返してました。

いくつかピックアップすると

ワンホットエンコーディングした時、出現回数が最も少ないカラムを削除していた。なぜ削除するのか？
テストデータセットの全行数に対してユニークな値の割合が5%未満のカラムを取得するのはなぜですか？どのような意味がありますか？
特徴量間のピアソン相関を計算するのはなぜか？
Optunaの研究（study）を最適化とはどういう意味か？

という感じでたくさんの質問を投げてみました。その後帰ってきた返答に関してわからなかった部分もさらに深堀して聞くということを繰り返していました。

そこで理解した点としては

ユニーク値が少ない値に関してはワンホットエンコーディングを行うのが有効←その前にやることがある
特徴量を減らすには全体行の5%未満の値でもいいが、クロスバリデーションで特徴量の有無を見てモデルの評価を行ったほうがよい
ヒートマップは線形関係に関しては有効だが非線形関係には向いてない
ワンホットエンコーディングした際、訓練データまたはテストデータ片方にしかないデータが存在することがあるので、1つにまとめるアプローチがある
Optunaを使ってハイパーパラメータの最適化を行える

私の中ではヒートマップで各特徴量の相関を見たほうがいいと思っていたのですが、線形関係であれば見るべきであって、非線形関係であれば意味は少ないというのは新しい発見でした。よく考えればわかることではありますが（笑）

それからクロスバリデーションで特徴量の有無によってモデルの評価と比較をすることができることは知りませんでした。クロスバリデーションはただデータセットを分割して検証をするだけで、特徴量の有無まで比較できるとは思ってませんでした。

ここで私のコンペは終了しました。上記の気づきをコードに落とし込むことができませんでした。上の解説や質問と返答の理解に時間を費やしてました。まあ土日はゲームをしてたので結局やらずに終わっただけですが…

コンペが終わった後のスコアとディスカッションも見てたのですが、public1位の人がprivateでは200位台になってたりしてそんなこともあるのかと思いながら見てました。

ちなみに私は8個ほど順位を落としてました。そこまで熱心にデータの加工やパラメータの調整をしてないので気にしてないですが

さてこのコンペが終わったのでまた次のコンペにも挑戦しようかと思います。まだSwagかKnowledgeに挑戦してみます。また現場で画像系のAIを作るみたいなので画像コンペにも参加してみようと思います。果たして役に立つのか不明ですが

また今回の解説だったり質問の返答などは正しいとは限らないのでもう少し精査しようと思います。少しづつでも確実に自身の知恵としていきたいですね。ではでは

最近の生成AIを3つほど試してみたよ！

Thu, 28 Mar 2024 00:00:00 +0000

OpenAIから"Sora"のお披露目があり、夏に"GPT-5"がでるという発表がありましたね。

最近の生成AIはすごいなあと思いながら過ごしてますが、たまたま見つけた動画生成AI2つと音楽生成AIを見つけたので試してみました。全てGoogleのアカウントアあれば無料で試せますので興味があれば試してみてください！

まずはPixVerseですね。テキストから動画を生成できます。時間は4秒だけですが一応できます。少し触ってみましたが思ったような動画を作るのは大変そうです。

このときは"Giant bee stings bear"というプロンプトを入れてみました。想定とは違いますが欲しい物体は出てきましたね。

次の動画生成AIはHaiperです。こちらでも同様のプロンプトをいれてみました。熊が出てこず蜂が前面に出てきて、人によっては嫌悪感を抱くかと思いますのでリンクだけ貼っておきます。興味があれば見てください。こちら

蜂が蜂を食べてるみたいな動画でそれも不気味なんですよね。こちらは2秒だけですがPixVerseよりも精度や解像度はよさそうです。いいプロンプトを見つけてみたいものです。

最後は音楽生成AIのSunoです。入れてみたプロンプトは"A giant bee stings a bear in anger and rejoices when it is repelled.“になります。感情を入れてみました。

できた音楽は2つになります。これとこれです。生成されたサムネはよくわかりませんが喜びを表した音楽ができました。また、歌詞も出ており英語で歌もついています。2つの歌詞は同じですが音楽が異なるのですごいなと感じましたね。ちなみに歌詞は下記

[Verse]
In the forest, giant bee is on the prowl (oh yeah)
Buzzin' 'round, lookin' for some mischief now (oh-oh)
Spots a bear, thinks it's time to have some fun (oh yeah)
Stings it hard, the battle has just begun (woo)

[Verse 2]
But the bear retaliates, swipes with all its might (oh no)
Giant bee is repelled, takes flight into the night (oh-oh)
Feelin' the sting, buzzing with adrenaline (oh yeah)
But still it's jumpin' back, ready to sting again (woo)

[Chorus]
Buzzin' bee, buzzin' bee, flying wild and free (oh yeah)
Stingin' bear, stingin' bear, a rivalry we see (oh-oh)
Buzzin' bee, buzzin' bee, never gonna run (woo)
Keep on buzzin', keep on stinging for fun (oh yeah)

こんな感じで色んな生成AIを触ってみました。他にも日本から出た画像生成AIのAkumaでしたり、Sakana AIという低コストで精度が高いモデルが作られたりしています。

生成AIのさらなる進化と今後の仕事について

Tue, 26 Mar 2024 00:00:00 +0000

最近Inputが出来てないな～と思ったので色々調べてみたところこの資料を見つけました。

ざっくり内容を話すと生成AIが労働へ及ぼす影響や知識の獲得、またその後の働き方について書かれています。せっかくなのでChat-GPTとClaudeにも要約してもらいました。

こちらではもう少し細かく要約されたものがありますので興味があれば見てください。

現在の生成AIでもいろんな職業に影響を与えていますが、この資料では将来的に膨大な知識が求められる職業にも影響があるという話です。AIを含むエンジニア系全般はもちろん科学者や技術者も対象です。

今のプログラマーだったりデータサイエンティストも頼ったほうがよいものができやすいと思います。私もちょくちょくコードの書き方を聞いたりしてます。

そんな生成AIが所謂 “業務知識” を持つようになったら労働を代替してくれるという話ですね。

とはいえ全てを任せるわけじゃなく最後の確認は必要だと思いますが。

ただ、最後の確認であればPLレベルの人がいれば十分で、ただのプログラマーやデータサイエンティストは不要になるのは間違いなさそうです。

他に必要になるのは人間同士の調整をする役目の人ですかね？営業とかでしょうか

この話を聞くと今のままではいずれ職がなくなるんだなと考えられますね。数年位であれば大丈夫でしょうが、10年20年先もまだ働く気がするのでそうなると先を考えて行動しないといけないですね。

ブルーカラーの職業も最近はロボットが出てきているので代替されそうな気もしますが、人間の体のつくりは割と凄くて8時間動き続けても故障をしないものです。

ただ、ロボットなどの機械は部品が摩擦などで擦れてくるので長期的には向かないらしいです。そう考えたらまだ大丈夫な気はしますね。

一応金属も傷つけられたとしても時間をかけて回復するらしいのですが、動植物ほど早くなさそうです。そう考えるとブルーカラーがいいですかね？農業であれば食べ物も困らなさそうです。酪農もよさそうですがコストが高そうです。不動産とかもいいんですかね？気にはなってるんですが…

そんな感じで将来のことを考えさせられる資料でした。私は将来的に人間は全員ニートになってほしいと思ってるんですが生きてるうちに来ないですかね？ではでは

Kaggleのスコアを少しずつ上げていってる話

Fri, 22 Mar 2024 00:00:00 +0000

前回から4日ほど空いてしまったのですが、Kaggleでどうやってスコアを上げるか四苦八苦してました。

そもそも前のスコアが低すぎたので少し改善するだけで上がるかなと思ってたのですが、なぜか上がらず少し結果を見てたら自分のコードミスだったというオチです（笑）

前回の予測コードがこちら

で修正したコードがこちら

for文を使って目的変数が変わるたびモデルの学習を行った後、予測を行っています。ちなみに私は訓練データを8:2に分割して実行しています。

前の時は全ての目的変数の学習が終わったとモデル予測を行っていました。本来であれば目的変数1つに対して学習して予測を行うのですが、全て学習した後予測してたので最後の目的変数の学習をしたモデルになってたので、想定していた結果にはならなかったみたいです。

というわけで修正した後のスコアがこちら

すごい！だいぶ上がった！というかこれが普通のスコアっぽい（笑）

よくなったので今度はもう少しデータと向き合いつつ、より良い加工方法とモデルの作り方を見てみようと思います。またDiscussionを見つつ、他の人のNotebookを見てみました。他人のコードをChat-GPTに解説してもらいつつ、不明な点を聞いてみようと思います。

余談ですが何もしないときとワンホットエンコーディングを行った時の結果を見てみます。AUCが上がったものもあれば下がったものもありますね。大幅に改善されたわけではないので、元のデータに対して加工したほうがよさそうです。外れ値とか入ってるかもしれないですね。

というわけでKaggleいろいろ試してるという話でした。ではでは

Kaggleをとりあえず触ってみて少しづつ予測や分類を理解していくぞ！

Mon, 18 Mar 2024 00:00:00 +0000

最初の段階でタイタニックを触ることが普通かもしれませんが、この書籍でも触れてますがタイタニックは軽く触るくらいでいいと思います。

順位もあまり動かないですし、モチベも続かないと思うので他のコンペに早く参加したほうが楽しい気がします。

私は今開催されているこちらのコンペに参加しています。こちらのコンペは基となったデータから似たような特徴量を作成したものになります。中身はテーブルデータなうえに “id” と数値データのみなのでとっつきやすいと思います。

とりあえず中を見てみます。

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 19219 entries, 0 to 19218
Data columns (total 35 columns):
 #   Column                 Non-Null Count  Dtype  
--- ------ -------------- ----- 
 0   id                     19219 non-null  int64  
 1   X_Minimum              19219 non-null  int64  
 2   X_Maximum              19219 non-null  int64  
 3   Y_Minimum              19219 non-null  int64  
 4   Y_Maximum              19219 non-null  int64  
 5   Pixels_Areas           19219 non-null  int64  
 6   X_Perimeter            19219 non-null  int64  
 7   Y_Perimeter            19219 non-null  int64  
 8   Sum_of_Luminosity      19219 non-null  int64  
 9   Minimum_of_Luminosity  19219 non-null  int64  
 10  Maximum_of_Luminosity  19219 non-null  int64  
 11  Length_of_Conveyer     19219 non-null  int64  
 12  TypeOfSteel_A300       19219 non-null  int64  
 13  TypeOfSteel_A400       19219 non-null  int64  
 14  Steel_Plate_Thickness  19219 non-null  int64  
 15  Edges_Index            19219 non-null  float64
 16  Empty_Index            19219 non-null  float64
 17  Square_Index           19219 non-null  float64
 18  Outside_X_Index        19219 non-null  float64
 19  Edges_X_Index          19219 non-null  float64
 20  Edges_Y_Index          19219 non-null  float64
 21  Outside_Global_Index   19219 non-null  float64
 22  LogOfAreas             19219 non-null  float64
 23  Log_X_Index            19219 non-null  float64
 24  Log_Y_Index            19219 non-null  float64
 25  Orientation_Index      19219 non-null  float64
 26  Luminosity_Index       19219 non-null  float64
 27  SigmoidOfAreas         19219 non-null  float64
 28  Pastry                 19219 non-null  int64  
 29  Z_Scratch              19219 non-null  int64  
 30  K_Scatch               19219 non-null  int64  
 31  Stains                 19219 non-null  int64  
 32  Dirtiness              19219 non-null  int64  
 33  Bumps                  19219 non-null  int64  
 34  Other_Faults           19219 non-null  int64  
dtypes: float64(13), int64(22)
memory usage: 5.1 MB

中身は数値データで最後の7カラムが予測対象の列になります。それから欠損値はないみたいなので、欠損値については考えなくてよさそうです。

仕事でミスが発生した場合、何を考えるか？どう対応するか？

Fri, 15 Mar 2024 00:00:00 +0000

人間が管理・作業をする以上ミスをするものだと思います。その度に反省して再発防止策を考えてシステム的にミスが起きないようにします。それを怠ったら同じミスが再発するわけですが…

ちなみに私はよくミスを発生する人間だと自負しています。そんなこと自負するなと思いますが、学生のころからよくやっていたので折り紙つきです。

そう考えると短所は注意散漫になるのでしょうか？ケアレスミスや誤字脱字、表の線引きがずれてる等細かいところはよくあります。(毎日ではないですがレビューの時は6,7割)

エンジニアであれば過去のプログラムを参考に現行のプログラムを作ったり修正したりするでしょう。その過去のプログラムの一部が間違っていてかつ自身が作ったということが多いです。頻度は1年に1回ぐらいだと思いますが…多分

ケアレスミスや誤字脱字はまだしも、プログラムの仕様が異なるは大事です。想定されていたものと異なるものができているわけですから。データを作る人だったら一部のデータが想定されたデータと異なるというとこでしょうか。

お客さん側から指摘されれば謝罪→修正→リリース→再発防止策という流れで進むでしょうが、お客さん側も気づかず、自身が気づいた場合はどうでしょうか？さらにそれが本人が作った物であればどうするか？が本題です。

他人が作ったものの場合は本人に直接聞くのが一般的だと思います。その後、本人からチームの人に共有してもらうのが波風立たないですね。勝手に"こんなミスがありました"という話をするとその人のメンタルに大ダメージを負っちゃいますので…

それでは自身が作ったものの場合はどうでしょうか？上司やチームの人の相談しますか？見なかったふりをしますか？誰にも言わず修正しますか？私は葛藤したのちに相談するタイプです。隠蔽の考えがよぎるのですが、先々を考えるとまずいので相談します。

相談については

メリット：将来他の人に迷惑が掛からない
デメリット：信用が下がる、怒られる、状況によっては自社に損害が発生する

まあ自身へのメリット少ないですが将来膨らむ迷惑や負債は潰せますね。デメリットの2つはまだしも損害発生は大事ですね。どうしようもないものはどうしようもないですが

見なかったふりについては

メリット：近々自身が辞めるもしくは抜ける予定ならば保身になる
デメリット：将来他の人に迷惑をかける、ばれないかなどでメンタルがやられる

所謂 “爆弾” や “負債” を残す形になります。保身のために言わない人も多そうですが、サイコパスでなければずっと頭をよぎりますし、他の人に押し付けるのはどうかと思います。周りがそんな人たちばかりなら速攻辞める職場ですね。

次にしれっと修正するついては

メリット：ばれなければ誰にも迷惑をかけない
デメリット：記録に残さなければ同じミスを再発する可能性がある

そもそもしれっと直せるような状況はあまりない気がしますが迷惑を一番かけない形になる気がします。ただ、同じミスは再発する可能性が高いですね。そこで終われば大体忘れるものですから。

いずれにせよ障害の対応になるので自身にとっていいことは起こらないのですが、他の人にどれだけ迷惑をかけるかが変わるので正直に話しましょう。

この話をしたのは直近で自身のミスに気付いたからですね。迷ったんですがしっかり話して、リカバリーと再リリースを早く実施して対応したので将来的に良かったと思います。自身の評価は下がった気がしますけどね（笑）

まあ反省はしても落ち込まずどうしようもなくなったら “辞めてやるし、別のいい環境で頑張るわ！” くらいの心持をしましょう！誰にでも何とでもできますので、多分。ではでは

E資格が終わったので実践としてKaggleにも挑戦してみよう！

Wed, 13 Mar 2024 00:00:00 +0000

G検定に続きE資格も無事取得できたので今度は統計検定準1級やDS検定になるかと思いますが、一旦受験関係はやめてKaggleに挑戦しようと思います。

英語という観点では少し不利ですが、名前はよく知られてますし英語の練習にもなるかもしれないのでこちらを選びました。日本語が良ければSIGNATEというコンペがあります。

まずKaggleとはなんぞやということですが、競技プログラミングのデータサイエンティスト版ですね。要件を確認して、入力データを見て、予測や分類を行い、csvファイルを提出してスコアを競うという流れですね。

Kaggleの始め方は該当のページに飛んでアカウントを作成してください。メールアドレスまたはGoogleアカウントですぐに始められます。

そもそもKaggle以前にプログラム自体に触ったことがない人もいるかと思います。そんな人はpythonの勉強から始めましょう！こちらからKaggle内で勉強することもできます。pythonやpandasはもちろん、データの可視化、機械学習や深層学習、SQLも勉強できます。

プログラムが書けるようになったらいよいよ挑戦することになると思いますが、データ分析で一番重要なのはデータへの理解と加工だと考えています。

どんなデータが使われているか？、どの変数がどんな型になっているか？、外れ値や欠損値が含まれているか？、各変数の相関関係はどうか？など確認すべき点は多いです。また、そのデータに対する加工が適切かどうかも考えないといけません。欠損値は削除すべきか埋めるべきか？外れ値としてみるべきか？

8割くらいがデータへの理解と加工が重要だと思うのでこちらをさらっと流し見するといいかもです。ただ、プログラムはほぼ書いておらず図の見方やデータの確認方法がメインなので流し見でいいかと思います。

Kindle Unlimitedであればただで見れるので入っておくことをおススメします。サブスクで月額300円くらいですし、他のためになる本やくだらない本も読めますので本を読むいいきっかけになると思います。ただで見れるので細かく見ずわかってる場所は飛ばして、さらっと見ていきましょう。

次はこちらですね。たくさんの人がおすすめしてますが、データの加工方法からモデルの作成と評価、細かいポイントまで記載しています。私もまだ読み始めですが、目次を見た限りだとこれを見ればデータ分析が十分できると思います。画像や自然言語処理、GANなどは触れてないですが…

本を読みながらKaggleを触っていくのがいいと思います。よくタイタニックがおすすめされていますが、ランキングはほぼ変わらない上にやる気に繋がりにくいので今開催されているコンペに出るといい気がします。

賞金のほうでもいいですし、SwagやKnowledgeでもいいと思います。最初は上を目指さず、自身でいろいろ試して解答を提出して、他の人のコードを覗いたりDiscussionに参加したりするといいと思います。思わぬアイデアが埋まってたりしますし、知らないですが…

とまあこんな感じで参加しようと思います。まずはテーブルデータのコンペから参加してみて、ゆくゆくは画像系とかやってみたいですね。ではでは

E資格（エンジニア資格）2024#1に無事合格したのでそれまでの話をつらつらと

Sun, 10 Mar 2024 00:00:00 +0000

E資格について昔話したと思いますが(こちら)、結果はどうだったか、どんな勉強をしたのかを話していこうかと思います。

まずこちらでJDLAが2024年第一回E資格の結果発表が出ています。合格率や平均得点率、年代・業種・職種・役職別の合格者数が出てます。

私の結果がこんな感じです。

応用数学と開発環境は6割切ってますが、機械学習と深層学習は7割近くになってますね。ちなみに今のタイミングでX(旧: Twitter)で"E資格"を調べると他の人の得点率を見れます。落ちた人の結果を見ると機械学習と深層学習の得点率が低かったみたいです。

問題数から見ると応用数学と開発環境は出題数が少ないので最悪ほぼ取れなくても問題なさそうです。機械学習と深層学習が問題数多いのでこちらを抑えればいけそうな気はしてます。

結果はこんな感じでしたが勉強方法は割とシンプルです。

前にもお話ししましたが私はStudy-AIを使って認定証を取りました。Study-AIでは模擬試験とその解説、過去問(32問分)がありますのでそこを徹底的に理解し、満点取れるまでやりました。

他の方法だと黒本だったり参考書をチェックしたりですかね？それからデータ加工のプログラムは仕事で使ってるので “np.array” だったり、論文で書かれてることはこんな書き方できそうだなというのはなんとなくわかります。実際にプログラムを動かすのは大事ですね。

何度も話してますが資格はあくまで資格なので実際に実装できたり、知識を活用していくことが大切だと思います。資格を取って終わり、じゃなくどう活用していくか？なのでそろそろKaggleに挑戦してみようかと思います。ではでは。

pythonの仮想環境構築をいくつかやったので使ってみた感想を書く

Fri, 08 Mar 2024 00:00:00 +0000

前回の続きになります。

前回は仮想環境が必要なの？というテーマで書いてみましたが、とはいえ使えるに越したことはないので実際に試してみて使った感想を残そうと思います。

今回仮想環境を構築するにあたって試してみたのは以下

pip
venv
pyenv（環境的に使えなかった）
pipenv
poetry
docker（環境的に使えなかった）
Rye（環境的に使えなかった）

一応ざっくりと説明すると

ライブラリのインストール：pip、pipenv、poetry
仮想環境の構築：venv、pipenv、poetry、docker
pythonのバージョン管理：pyenv、docker

一般的に組み合わせとしては

pip + venv + pyenv
pipenv + pyenv
poetry + pyenv
docker + pipenv

あたりだと思います。私も依存関係とかは詳しくないのでそうなんだという認識ですが…

まずは “pip” 、pythonユーザーであれば皆さん使用してるので説明は省きますが、標準ライブラリで馴染みがあるものですね。

次は “venv” 、昔はvertialenvが使われていたみたいですがそれが標準ライブラリになったものです。vertialenvとは別物ですが使い方は同じですね。

仮想環境の作成や有効化ができ、標準ライブラリなので様々な教材でも使用されると思います。有効化に面倒な設定があったり、自動化やライブラリ一覧の出力にも手間がかかるので少し使いにくいですが、覚えておいた方がいいですね。vscode使うならインタープリターの選択で有効化できますが…

次は “pyenv” です。私の環境ではシステム環境変数をいじれないので使えませんでした。

pythonのバージョンがインストールできず、localやglobalの設定もできない状況でした。使えなくて残念ですが、vscodeのインタープリターで選択すれば問題ないのでいいかと

あるいはユーザー環境変数で任意のpythonバージョンのPATHを上に移動させるとかですかね。

次は “pipenv"です。こちらはライブラリのインストールと環境変数の作成が一体化した便利なライブラリになっています。

個人的には一番使いやすく感じました。仮想環境構築のしやすさ、ライブラリ一覧の自動化は便利だなと感じました。制限がなければ “pipenv + pythonのバージョン管理” が一番楽な気はします。

ただ、インストールの遅さや抱えてる問題もあるみたいなのでpipenvさえあればいいとは思いませんが、優先度は高いというイメージですね。

次は “poetry” です。使う用途としては"pipenv"と同じですが、異なる点で言うとPyPIにビルド・公開ができるという点になります。

PyPIにビルド・公開することはあまりないので、そうなるとpipenvとの使いやすさを比べてどうか？ということになりますが、使いやすさはpipenvに軍配が上がります。

まず、poetryはpython3.9以上でしか使用できません。今の現場はpython3.7(いつか3.11になる予定)なので使えなかったりします。また、ライブラリのバージョンでも同様に使えないものがあります。

他にも仮想環境の有効化がvenvと同様手間がかかったり、vscodeのインタープリター選択画面に出なかったのでパスを通す設定をしないといけないなどがあったりして使いにくさを感じました。私の環境構築方法に問題があるかもしれませんが…

おまけとしてRyeはチームよりも個人開発向けなのでやろうとしたのですが、客先PCでは使わないほうがよさそうです。個人で触ってみようとは思います。

それからDockerです。Desktop版をインストールしようとしましたがダメでした。とはいえAWSの実行ではdockerコンテナを利用しているので、ローカルでは使えませんが開発や本番環境では使われているのでdockerfileの中身やdocker-composeをチェックしてみます。ローカルだとどんな使いやすさなんですかね？

前にも話したんですが、pythonやライブラリのバージョンが固定されているような現場では正直不要だとは思いますが、知っておいて損はないかと思いますし、知識はどこかで役立つと思います。

手軽で使いやすいという点では “pipenv” > “poetry” >= “pip + venv"に"pyenv"を足したものかと思いますが、覚え順としては"pip + venv” > “pipenv” > “poetry” がいいと思います。ついでにDockerまで使えればほぼ問題ないという印象です。

常駐先のPCでPythonの仮想環境構築って必要なの？

Wed, 06 Mar 2024 00:00:00 +0000

たまには自身の仕事の環境のことでも話をしてみるのもいいかと思って記事にしました。ただ自身の疑問や考えを整理するために書いてるので、大したことは書かないかと思います。人間っぽくていいなと思います。

大前提としてpythonの仮想環境構築について知っておくに越したことはないと思います。客先に派遣される業態ではいつ使うかわかりませんし、自社開発でもライブラリの更新をした方がセキュリティ面でも安心できると思うので、安定板と更新版で使い分けができそうです。

さて、最近新PCに移行することになりました。前のPCでは仮想環境を使ってこなかったので、これを機に仮想環境について調べこの記事を書くことにしました。仮想環境で何を使ったかはあまり触れないと思います。

私の現場では客先常駐ではないですが、お客様先から配布されたPCを使って開発を行います。スペックは特段低いわけではないので、重たい処理や大量のデータを扱わなければ問題ない程度です。ちなみにWindowsです。

ただお客様先から配布されたPCなのでセキュリティは固めです。実はpyenvを使おうとしたのですがインストールがうまくいかずpythonバージョンの使い分けができませんでした。

他にもDocker Desktopをインストールしようとしましたがこちらも無理でした。申請すれば通るかもしれないですが、他にも方法はありますので一旦諦めました。ちなみにWinMerge(ファイル同士の比較)もインストールできませんでした。前のPCは標準搭載だったのですが…

ここから本題なのですが、仮想環境を作る必要があるのか？ライブラリの管理をする必要があるのか？という問題です。もちろん客先によっては自由度が高いところもあるので一概には不要だとは思いません。

私の話になりますが、本番環境ではAWSを使っています。開発環境もありますがスコアリングのみであればローカルでvscodeを使用しています。

AWSではDockerfileでpythonとライブラリのバージョンを指定して実行しているのですが、そのバージョンが全てのプロジェクトで統一されています。pythonのバージョンであれば3.7.12、pandasであれば1.12.0という具合です。

こうなるとローカルでも使用するpythonやライブラリのバージョンは固定されるので、仮想環境の構築は不要でとりあえずpipでインストールしてしまえばいい気もします。requirements.txtに吐き出していまえば他の人にも共有できて同じ環境が作れますし…

整理してみましたがやはり不要な気がします。とは言え仮想環境構築で使ったvenvとpyenv(ほぼインストールのみですが…)の使い方もわかりましたし、他のライブラリであるpipenvやPoetryも触ってみようと思います。

次に話すとしたら実際に仮想環境構築したことかAWSについてですかね？ではでは

セキュリティを学ぶことができる"TryHackMe"で遊んでみたよ！

Fri, 01 Mar 2024 00:00:00 +0000

最近のニュースでセキュリティに関する漏洩がよく起きている気がします。

外部からの攻撃はもちろん内部からの漏洩も存在します。内部からの攻撃(人的ミス、スパイ等)は防ぐのは難しそうですが外部からの攻撃であれば大体は防ぐことができると思います。

クラウド等であればセキュリティに関するものもありますが、Webサイト等ではセキュリティに弱い部分もありそうな気はします。

セキュリティについて騒がれているのに私は全く知らなかったので少しは勉強しようかと思って"TryHackMe"というサイトで学習し始めました。こちらから学べます。

ただ、こちらは全て英語になりますので翻訳しながら少しずつ進めています。学習はこんな感じです。やる内容と進行度、難易度が表示されています。

少し触ってみた内容では以下の画像みたいな感じです。

左の方ではハッキングの内容や手順を動画付きで説明して、右側では実行する環境を作って手順通りに作業していきます。

まだ始めたばっかりなのでわかっていないことや翻訳しながらで大変ですが、少しずつ学んでセキュリティ意識を高めていけたらと思います。

余談なんですが最近物理学が面白いと思い始めました。理系なので物理学に触れたことはありますが、あまり理解できていませんでした。量子力学はAIと同様発展途中ですが、もしかしたら数十年後には必要不可欠になりそうなので、そっちも知っておくとよさそうです。

今はAIみたいな実用段階ではないですが今のうちに知って、ビジネスにも活かせる段階になった時、有利に働き稼ぐ手段が増える！かもしれないですね（笑）ではでは

引き続きfreeCodeCampの機械学習で苦戦している話

Wed, 28 Feb 2024 00:00:00 +0000

勉強していますか！

私は引き続きfreeCodeCampで認定証を取れるよう頑張っているのですが、なかなか難しくて苦戦しています。

現状機械学習プロジェクトで終わってるのがじゃんけんと画像分類と医療費予測ですね

画像分類と医療費予測はそこまで難しくないのですが、じゃんけんと今やってる自然言語処理は苦戦しています。

じゃんけんは4人のボットに60%以上の勝率を出すことがクリアの条件です。

4人のボットはそれぞれ特徴があって(以下グー: “R”、チョキ: “S”、パー: “P"とする)

特定の順でじゃんけんの手を出す
前回出したプレイヤーの手に勝つ手を出す
プレイヤーの過去10回分を集計して1番多く出した手に勝つ手を出す
過去2回分(“RR"や"PP"等)のパターンを毎回全て記録し、前回出した手＋“次出す手"を過去履歴から一番多い手に勝つ手を出す。(例：過去のパターンで"RR"が8回、“RS"が5回、“RP"が10回だった場合、前回プレイヤーの手が"R"なら"RP"が10回の最多なので"P"に勝つ"S"を出す)

この4人に勝率60%以上出せばいいのですが時間がかかってしまいました。ちなみに最終的には画像のような勝率になってました

1人以外は99%以上の勝率になりました（笑）。3人だけ個別で対応して1人は何もしなくてもテストクリアしたので特に対策はしていません。もしかしたら連鎖マルコフモデルを使えばよかったかもしれませんが、力押しです💪

画像分類と医療費予測はChat-GPTに手伝ってもらいました。とは言え簡単な加工とモデルの作成だけだったのですが、コードの中身を全て解説してもらいながら終わらせました。

残りの自然言語処理問題ですね。書籍推薦アルゴリズムとスパム分類ですね。こちらもChat-GPTに頼って解説してもらいながやったのですがうまくいきませんでした…

なかなか難しいですがもう少しいい方法がないかChat-GPTとキャッチボールしながら探してみようと思います。気晴らしに他の講座をやるのも手ですね！ではでは

freeCodeCampというサイトで認定証でも取ってみる話

Sun, 25 Feb 2024 00:00:00 +0000

E資格が終わって次に何しようかなと思った時にたまたま目が付いたサイト"freeCodeCamp“をやってみました。

一応無料でできるものでテストに合格できれば認定証がもらえます。このようなサイトやCourseraなどで認定証をもらえますが、どこまで効果があるかはわかりません。

ただし、海外でも十分役に立つかなと思っているので学位とかなければ取るに越したことはないかと思います。日本だけでいいなら不要だと思いますが、私は日本だけで活躍するのは危ういと感じているので、海外でも使えそうなものを探していました。

講座はいろいろありますので気になったものを触ってみればと思います。

基本は英語ですが日本語に変えることもできます。翻訳が怪しい部分もありますが、なんとなくわかります。本格的な翻訳も募集しているみたいです。

私はメインはpythonを使っていますのでpythonに関する認定証を2つ取りました。

今は残りのpythonに関する認定証を取得中です。少し難しいですが…

これが終わったら他のやつも取ってみようと思います。APIやデータベースはできたほうが楽しそうですからね。

問題としてChat-GPTを使っても問題ない気はします。コードをほぼ任せてみましたが合格できましたので。また、Copilotのような機能があるので気にせず、積極的に利用しても問題ないかと思います。コードの中身はしっかりと理解したほうがいいですが…

テストを受ける前に学習をすることもできます。動画での学習と内容チェックですね。

さて、生成AIが出てきてもしかしたらプログラマーやデータサイエンティスなどの業種が将来的になくなるかもしれない時代、さらに日本は少子化により給料も需要も下がるかもしれない時代に突入しているので、今のうちにやれることをやって将来に備えたいですね。

それでは楽しいエンジニアライフを。ではでは。

E資格お疲れさまでした！合格したかどうか五分五分…

Tue, 20 Feb 2024 00:00:00 +0000

2024#1のE資格お疲れさまでした！個人的には五分五分くらいの出来でした。振り返るとあの箇所間違ってたなと思うとこもいくつかあります。

今回テストを受けてみてわかったことは、G検定同様言い回しが少し独特に感じました。言い方を変えると表面だけの理解では解けないと感じました。

全ての問題がそうではないですが4割くらいがそう感じました。

また問題数は103問の120分ですがある程度理解して入れば、計算問題があっても20分くらいは余る気がします。

シラバスを見て記事に簡単にまとめたりしましたが、全く出ない内容(コンテナやCTC等)があったりして少し困惑しました。学べてよかったとは思いますが…

次回のシラバス(こちらからダウンロードできます。)見る感じだと数学の内容はあまり変わらず、機械学習はバッサリ削られてる雰囲気です。深層学習も音声処理とメタ学習はバッサリですね。能動学習と連合学習は元からなかった気がします。

こうやってバッサリカットされたということは他の箇所が頻出するということなので、深層学習はより理解を深めたいといけなさそうですね。特に生成AIに関するGPT系やGNA系は最近の論文も確認したほうがよさそうですね。

今回の学習で色んな事が学べました。Dockerはローカルで使ったことがないので触ってみよう！とかHagging Faceで配布されてるモデル使って自然言語処理のプログラム作ってみよう！とか画像認識でいい使い道ないかな？とか考えてました。

一先ず資格が終わって勉強から解放されたので他にやりたいことをやっていきたいと思います。ちなみに試験後にコオロギラーメン食べてきたのでその話もしようと思います。ではでは！

E資格受験前なので復習がてら学んだことをざっくり振り返る ~ 深層学習後編、開発環境編~

Sat, 17 Feb 2024 00:00:00 +0000

前回の続きになります。深層学習の後編になります。もう一息です。

まずは生成モデルと識別モデルについてです。

識別モデルは入力Xから出力Yへの直接的なマッピングを学習することを目指しています。このマッピングは条件付き確率P(Y | X)を使用して表される。与えられた入力データに基づいて出力ラベルの確率を最も正確に予測する。
生成モデルはデータの同時確率P(X,Y)またはデータの周辺確率P(X)を通じて行われる。観測されたデータがどのように生成されるかの理解を深め、新しいデータポイントを生成する能力を持つこと。
ナイーブベイズ：P(X | Y) = ΠnP(xi |Y)、P(xi |Y)は特徴xiが与えられたクラスYに属する条件付確率
GAN：生成器Gがランダムノイズからデータを生成し、識別器Dが実データと生成データを区別しようとする。minG maxD V(D,G) = Ex~~Pdata(x) [logD(x)] + Ez~~P(z) [log(1 - D(G(z)))]、V(D,G)は識別機Dと生成器Gの値関数、Pdataは実データの分布、Pzは生成器の入力となるノイズの分布。

次はVAEとVQ-VAEについてです。

VAE(Variational Autoencoder)：入力データを低次元の潜在空間にエンコードし、その潜在表現から元のデータを復元するように学習するオートエンコーダの一種。潜在空間における確率分布をモデリングすることにより、新しいデータの生成も可能。
- データxから潜在変数zの分布qΦ(z | x)を推定し、デコーダを用いてzからxを再構築する確率pθ(x | z)を最大化する。
- 潜在変数zの事後分布qΦ(z | x)が事前分布p(x)に近づくように制約をかける。そして以下の損失関数を最大化する。
  - L(θ,Φ; x) = Eq(z | x)[logpθ(x | z)] - Dkl(qθ(z | x)||p(x))、DklでqΦ(z | x)とp(z)の分布の類似度を測る。
VQ-VAE(Vector Quantized-Variational Autoencoder)：VAEの概念を拡張し、潜在空間において離散的な表現を使用する。ンコーダが出力する連続的な潜在表現を、事前に定義された離散的なコードブックにマッピングすることにより、潜在表現をベクトル量子化する。
- エンコーダが出力する潜在変数ze(x)を、コードブック内の最も近いコードベクトルzqにマッピングする。損失関数は以下のように定義する。
  - L = logpθ(x | zq) + ||sg[ze(x)] - zq||^2 + β||ze(x) - sg[zq]||^2、sg[⋅]はstop-gradient演算子、バックプロパゲーション時にその入力に対する勾配の計算を停止させる。βはハイパーパラメータ
使用例：画像生成や画像編集、データ圧縮、音声合成と音声変換、テキスト生成とスタイル転送、異常検知、強化学習

次はDCGANとConditional GANについてです。

DCGAN(Deep Convolutional Generative Adversarial Networks)：CNNを用いたGANの一種、プーリング層を使わずに、ストライド畳み込みと逆畳み込みを使用する。学習済みモデルは、未ラベルの大規模データセットから有用な特徴を自動で抽出するでき、他のタスクに転移学習で利用可能。バッチ正規化をGeneratorとDiscriminatorの両方に適用することで、学習過程を安定させる。

E資格受験前なので復習がてら学んだことをざっくり振り返る ~ 深層学習前編 ~

Mon, 12 Feb 2024 00:00:00 +0000

前回は応用数学や機械学習につてい振り返ったので、今回は深層学習について振り返ります。おそらく長くなりそうなので2分割しようと思います。

まずは**全結合型ニューラルネットワーク(Fully Connected Neural Network, FCNN)**についてです。

入力層、隠れ層、出力層から構成され各層の全てのノードが前の層の全てのノードに重み付きの接続をしている。
前向き伝播 (Forward Propagation)：各ニューロンの出力は、前層の出力、重み、バイアスに基づいて計算され、活性化関数を通過する。活性化関数については後述します。
誤差逆伝播 (Backpropagation)：出力層の予測値と実際の値との差を計算し、その差を用いて重みを更新する。連鎖律を用いて各重みに対する誤差の勾配を計算し、勾配降下法等を使用して重みを更新する。
問題点と解決策
- 過剰適合：機械学習と同様、正則化(L1、L2正則化)やドロップアウトを使用する。
- 勾配消失/勾配爆発：層を深くしたことで勾配が急速に減少または増加する問題。解決策には重みの初期化方法の工夫（He初期化など）、バッチ正規化、残差接続（ResNet）などがあります

次は損失関数の最尤推定による条件付き分布の学習についてですが、前回の機械学習でも触れたので軽く触れる程度にします。

回帰問題：ガウス分布の尤度を最大化することは、平均二乗誤差を最小化することと同等。損失関数はL(θ) = 1 / nΣ(y - f(x, θ))^2、yは実測値、f(x, θ)は予測値
分類問題：多クラス分類では、カテゴリカル分布の尤度を最大化することが、クロスエントロピー損失の最小化と同等。損失関数はL(θ) = -ΣnΣCylogf(x, θ)、yはi番目のデータがcに属するかを示す指標変数、f(x, θ)はモデルによるクラスcへの所属確立への予測。

次は活性化関数についてです。主に隠れ層と出力層で使われます。

シグモイド関数：σ(x) = 1 / (1 + e^-x)
- 出力が0から1、二値分類問題の出力層でよく使用されるが、勾配消失問題のため隠れ層ではあまり使用されない。
Softmax関数：Softmax(x) = e^x / Σe^x
- 出力層の多クラス分類で使用、出力値の合計が1になるようクラスに属する確率を計算する
ReLU関数：ReLU(x) = max(0, x)
- 出力が-1から1、原点に対して対象なので隠れ層でよく使われる。
Leaky ReLU関数：LeakyReLU(x) = max(αx, x)、αは小さな正の定数
- ReLUの改良版でx < 0で微小な勾配をすることで、ニューロンが不活性になり,任意の入力に対して出力0だけになる問題を緩和。
双曲線正接関数(ハイパボリックタンジェント)：tanh(x) = (e^x - e^-x) / (e^x + e^-x)
- 計算が効率的で勾配消失問題も緩和するので隠れ層でよく使用される。

次に誤差逆伝播法についてです。前述で述べた個所は省略します。

計算グラフ：この項目については割愛しますが、調べると表は出てきますので、誤差逆伝播法の計算がどのようなものかがよくわかります。

E資格受験前なので復習がてら学んだことをざっくり振り返る ~ 応用数学と機械学習編 ~

Thu, 08 Feb 2024 00:00:00 +0000

E資格で出る内容として"確率や情報理論の計算"、“機械学習”、“深層学習”、“開発運用環境"があります。こちらからシラバスをダウンロードして確認できます。LaTeXを導入してないので数式がかなり見にくいですが、よくわからなければ調べてみてください。

まずは確率・統計の式です。

ベルヌーイ分布：P(X=x) = p^x(1−p)^(1−x)、xは結果の値(成功=1、失敗=0)、P は成功確率を表す。例としてスパムメールフィルタリングやクリック予測で使用される
ガウス分布(正規分布)：P(x) = 1 / √(2πσ^2) exp(-(x-μ)^2/2σ^2)、ここでμは平均、σ^2 は分散を表す。例として異常検出や回帰分析で使用される
多項分布：P(X1=x1,…,Xk=xk) = n! / x1!…xk! p1^x1…pk^xk、期待値E[X] = xp、分散V[X] = E[X^2] - E[X]^2 = xp(1 - p)、共分散Cov(X,Y) = Σxy - μxμy、相関係数 r = σxy / σxσy(-1~1の範囲)ここでμは平均、σは標準偏差を表す。例としてテキストデータやカテゴリデータのモデリングで使用される。
ベイズ則(条件付き確率)：P(A∣B) = P(B∣A)P(A) / P(B)、例として機械学習モデルのパラメータ推定などで使用される。

次は情報理論の式です。

自己情報量：I(x) = - logP(x)、底は2でP(x)はあることが起こる確率→確率が小さくなるほど、情報量は大きくなる
平均情報量(エントロピー)：H(X) = -ΣP(x)logP(x)、底は2でP(x)はあることが起こる確率、エントロピーが高いほどランダムで予測が難しくなり、データの圧縮や決定木などの機械学習モデルでの特徴選択に使用される。
結合エントロピー：H(X,Y) = -ΣP(X,Y)logP(X,Y) → XとYがお互いに独立であればH(X, Y) = H(X) + H(Y)が成り立つ。XとYは事象
条件付きエントロピー：H(X | Y) = - ΣxΣyP(X = x | Y = y)P(Y = y)log(P(X = x | Y = y))

Google Cloudで生成AIやクラウドの使い方に関するゲームで遊んでみよう！

Sat, 03 Feb 2024 00:00:00 +0000

こちらからゲームに参加することができます。

アクセスコードも画面に出ていますので入力して入ってください。

アクセスコードを入力するとゲームに参加できますので一つ一つ完了していきましょう！

言語の設定はここから変換できますので、気になる方は日本語に変換してください

中身はゲームというよりはGoogle Cloudの使い方を教えてくれるものでした。GCPに使い慣れていないせいか苦戦はしましたが、少しづつ進めてます。クリアするとチェックが付くみたいです。

Level1ではGoogle Storage、BigQuery、CloudFunction等の使い方を学ぶことができます。

今のところ無料で出来ていますのでもう少し進めてみようと思いますが、ゲームという観点ではAWSのほうが楽しいかもしれないですね。街の発展ができますので

AIに関する技術は確かに重要ですが、クラウドを扱う知識はもっと必要になるかと感じます。AIだけでなくサービスの提供にも必要なので知っておいて損はないと思います。

クラウドはAWSかGCPかAzureのいずれかを知っていれば十分な気はしますが、もし興味があれば触ってみると自身の幅が広がるかなと思いますので。ではでは

AWSCloudQuestでゲーム感覚でAWSを触ってみよう！

Tue, 30 Jan 2024 00:00:00 +0000

私の現場ではAWSを使っています。全てを1から作ったわけではないですが、StepFunctionやLambda、CodeCommitなど基本的なものは使ってますし、必要に応じて作成したりしています。

ある程度使っていますが、たまたま見つけた記事で興味が出たので"AWSCloudQuest"というサービスを触ってみようかと思います。こちらからスキルビルダーのアカウントを作ってサインインしてみましょう！

このサービスはゲーム感覚でAWSの仕組みを理解し、実際に操作して、AWSの認定も取ろうというサービスになります。実際にプレイするとこんな感じになります。初期画面がこちら

この後、アバターの作成に入ります。アバターを作り終えると街に放り出されます。画面では何もないですが、初めは誘導されますのでそれに従って行動してください。

まずは最初の課題ですね。話を聞いて何をするのか把握します。私はAWSを触ったことがあるので多少わかりますが、ここで単語がわからなくても問題ありません。

まずは"学習"からです。ステップを進めて内容を確認しましょう。また、左の動画からAWSのコンセプトや使用するサービスについてがわかります。今回はS3についての内容です。

次は"計画"ですね。左の"実践ラボの目標"は実戦で行う内容で、“DIY"は今回の依頼内容になります。これを把握しておきます。

次は"実戦"になります。AWSコンソールを押して、専用のアカウントでAWSにログインしますのでステップを見ながら作業を進めていきます。

最後に"DIY"になります。これが本来顧客が求めていることなのでこれができればクエスト完了です。先ほどのコンソールからDIYアクティブをしましょう。完了したらバケット名を入力して検証をクリックします。問題なければクリアメッセージが出て終了をクリックします。

クリアすると報酬を受け取ります。なんかいろいろ解放されたみたいです（笑）。

これが終わったら次のクエストが出るのでまたクエストをこなして、街を発展させていくみたいです。

このサービスは一部が無料なので全てこなしたければサブスクに登録する必要があります。私はまだ登録してないですが、もう少し遊んでみて楽しければ登録してみようかと思います。

これを機にスキルビルダーで認定取得するのも面白そうですね。ではでは

Python3.12で仮想環境を整え、Open Interpreterを使って少し苦戦した話

Sat, 27 Jan 2024 00:00:00 +0000

話題としては遅い気がしますが、初めてOpen Interpreterを使いました。そのことについて記載しようと思います。

Open Interpreterについて

最近社用PCのPythonバージョンを3.12に上げました。なので自身のPCのPythonバージョンも3.12に上げることにしました。また、同タイミングでOpne Interpreterのことを知ったので使ってみようとしました。

私はCode Interpreterのことは知っていたのですが使ったことはなかったです。違いがあまりわからないのですが、Code Interpreterのオープンソース版がOpne Interpreterのようです。

Open Interpreterを実行した際、自動でライブラリをインストールされることがあるみたいです。まずは仮想環境を作ることにしました。

仮想環境の作成とライブラリインストール

今回仮想環境で使ったライブラリは"pipenv"になります。特にこれといった理由はないです。Condaでもvenvでもいいとは思います。pipenvの使い方はこちらを参考にしました。

Pipenvをインストールし、必要なライブラリをインストールします。初期化しなくてもライブラリのインストール時に勝手に作られるので、意図的にPyhonのバージョンを変えなければ初期化しなくても問題ありません。

もし、ライブラリのインストール時に “RuntimeError: Failed to lock Pipfile.lock {ライブラリ名}” というエラーが出た場合は一度仮想環境を削除して、再度作成するとうまくいくと思います。私の経験談なのでサンプル数1ですが…

仮想環境を作った時はそこのインタープリターを選択しましょう。処理の実行が失敗しますので…

仮想環境ができたのでいよいよOpen Interpreterをインストールします。“pipenv shell"でアクティブ化し、“pipenv install open-interpreter"を実行します。

Open Interpreterインストール時のエラー対処

右のエラーが出ました。“ERROR: Couldn’t install package: {} Package installation failed…”

これだけ見ても原因は変わりませんが、面倒なのでコマンドを実行した後の行から全てコピーしてきてテキストファイルに張り付け、Chat-gptに聞いてみました。そしたら下記の回答が返ってきました。

これ見たときに「Python関係ないのに必要なの？」と思っちゃいました。だってC++とRustですからね。ちなみにRustを聞いたとき浮かんだのはゲームのほうでした（笑）

一応目視でも似たようなエラーが出ているかを確認してみると以下の2つのエラーが見れました。

error: Microsoft Visual C++ 14.0 or greater is required. Get it with “Microsoft C++ Build Tools”: https://visualstudio.microsoft.com/visual-cpp-build-tools/
ERROR: Failed building wheel for tiktoken、ERROR: Could not build wheels for tiktoken, which is required to install pyproject.toml-based projects

Gemini-proを使って簡単なチャットボットを作ってみよう！

Mon, 22 Jan 2024 00:00:00 +0000

生成AIがどんどん進化していく中でGoogleが新たなモデルを出しました。それが"Gemini-pro"です。

ちなみにこちらのページの下の画像リンクからGeminiが搭載されたBardを使うことができます。

チャットボットを作るにはAPIが必要なのでまずはAPIキーを取得します。キーはこちらから取得できます。画像の"Get API key in Google AI Studio"のリンクをクリックします。

ページが移動したら"Get API key"タブから"Create API key in new project"をクリックすればAPIキーを取得することができます。これでチャットボットの準備ができました。

次にGoogle Colaboratoryを起動します。APIキーの設定とモデルの取得と機械学習webアプリケーションを設定するだけで使うことができます。今回は"Gradio"を使うことにします。他のアプリもありますが、いつか使ってみたいですね。

コードは以下のように設定します。“YOU’RE_APIKEY"に取得したAPIキーを入れてください。

!pip install gradio

import gradio as gr
import google.generativeai as genai

# APIキーの設定
GOOGLE_API_KEY = “YOU’RE_APIKEY”
genai.configure(api_key=GOOGLE_API_KEY)

# Generative AIモデルの初期化
model = genai.GenerativeModel(“gemini-pro”)

# チャットボットの動作を定義
def chatbot(prompt):
# Generative AIモデルを使用して推論を実行
response = model.generate_content(prompt)
return response.text

# Gradio UIの設定
iface = gr.Interface(
fn=chatbot,
inputs=gr.Textbox(type=“text”, placeholder=“Press Enter to Submit”),
outputs=“text”,
live=True
)

生成AIでプロンプトを使うときに大切な26項目

Thu, 18 Jan 2024 00:00:00 +0000

2023年12月16日にプロンプトを使うときに最適な支持を出す「26の指針」が発表されました。

こちらから確認できます。対象のモデルはLLaMA-1/2とGPT-3.5/4が対象になります。

その指示の効果などはこちらのGithubで確認することができます。そして指示については以下の項目になります。

LLM使用時のコミュニケーション: 礼儀的なフレーズ（「お願いします」「もしよろしければ」「ありがとう」）は不要。直接的な言葉遣いをする。
対象者の明示: 「専門家向け」といった対象者をプロンプトに含める。
複雑なタスクの分解: 難しいタスクは、簡単なプロンプトの連続に分けて実行する。
肯定的な指示: 「～する」という肯定的な指示を使用し、「～しない」という否定的な表現を避ける。
明確化と理解の促進: 特定のトピックを簡単な言葉で説明する。11歳の子供に説明するようにする。初心者向けの説明を行う。エッセイ／テキスト／パラグラフを5歳児に説明するように簡略化する。
報酬の提示: 「より良い解決策にはxxxドルのチップを払う」と報酬を明示する。
例題主導型のプロンプト: 数例に基づくプロンプトを使用する。
プロンプトのフォーマット: 「###Instruction###」で指示を開始する。必要に応じて「###Example###」や「###Question###」を追加する。指示、例、質問、文脈、入力データを区別するために改行を使用する。
指示的なフレーズの使用: 「あなたのタスクは」「あなたは必ず」といったフレーズを含める。
ペナルティの提示: 「あなたはペナルティを受ける」というフレーズをプロンプトに組み込む。
自然な回答の促進: 「自然で人間らしい方法で質問に答える」というフレーズを使用する。
ステップ・バイ・ステップの考慮: 導入的なフレーズとして「ステップ・バイ・ステップ考える」を使用する。
バイアスのチェック: 「あなたの回答にバイアスがかかっていないか、固定観念によるものではないかを確認してください」というフレーズを追加する。
情報の精密化: AIモデルが必要な情報を得るまで、ユーザーに繰り返し質問するよう指示する。
理解度のテスト: 特定のトピックやアイデアについて尋ね、ユーザー自身の理解度をテストする。
モデルへの役割割り当て: モデルに特定の役割を割り当てる。
区切り文字の使用: 区切り文字を使用する。
単語やフレーズの繰り返し: プロンプト内で特定の単語やフレーズを複数回繰り返す。
思考の連鎖と例示: CoT（Chain-of-Thought）と例示を組み合わせる。
出力プライマーの使用: 望ましい応答の開始部分でプロンプトを終了する。
詳細な記述の要求: 必要な情報を提供し、[トピック]について詳細な[エッセイ／テキスト／段落]を書くよう指示する。
文体の維持における修正: ユーザーの送信したすべての段落を見直し、文法や語彙を改善するよう指示するが、文体を変えない。
複雑なコーディングプロンプト: 複数のファイルにまたがるコードを生成する際に、指定されたファイルを自動的に作成するよう指示する。
一貫性のあるテキスト生成: ユーザーが提供する出発点から、LLMが一貫性を持ってテキストを生成するよう促進する。
生成要件の明示: モデルがコンテンツを生成するために従うべき要件を、キーワード、規制、ヒント、または指示の形で明確に示す。
サンプルに基づくテキスト作成: 提供されたサンプルに似たエッセイや段落などのテキストを書くよう指示する。

ただ、英語での調査でモデルも一部だけなので参考程度で考えたほうがいいかなという気はします。日本語でやる場合は、他の方法などもあるかもしれないですね。

E資格まで後1ヵ月なので頑張ろう！

Wed, 17 Jan 2024 00:00:00 +0000

さて約1ヵ月後にE資格が迫ってきました。そろそろ本気で取り掛からないとなと感じています。

せっかくなので受ける経緯とどう勉強したかを書いてみようかと思います。

そもそも私はG検定を受けていました。それが1年前ですが転職を考えたときに実務の部分が薄く感じたので資格で補強しようと考えました。

無事G検定は2023年3月頃に合格しました。その直後ですが、とあるメールが届きました。E資格の資格を受ける料金が割引されるという内容でした。

ちなみにE資格は割とお金がかかるものになってます。会社によっては何十万とかかったりします。もちろん国の補助金で安くなったりする場合もありますが、それでも10万以上かかるのが普通です。

ちなみに私はStudy-AIという企業様のe-ラーニングを受けていました。入会料金が3万で月々3千円くらいです。かつ、受験料が3万ぐらいなので最短だと合計7万5千くらいになると思います。これが企業の講習では最安かと思います。大学の講義を受けるなら別かもしれませんが…

私が受験資格を得たStudy-AIという企業様の講習内容ですがざっくり以下になります。

応用数学
機械学習
深層学習-前編
深層学習-後編
E資格試験対策

G検定でも上記の内容はでましたが、E資格ではより詳細でコードも含めた内容となっています。

また、1~4ではレポートの提出とテストの合格が必須条件になっています。

私が提出したレポート内容ですが、配布されたコードの実行キャプチャとビデオ講義の内容で大事な個所をまとめました。

テストの内容は講義で書かれていないことばかりですが、内容を把握していれば問題ないかと思います。ただし、間違っても正しい解答はわからない上にテスト実施は5回までとなっているので少し慎重になったほうがいいかもしれません。

解答料金やテスト実行回数増加料金(いずれも3千円ほど)払えばやりやすくなるかもしれませんが…

1~4まで終わるとE資格の修了者ナンバーがもらえます。ただし、修了者ナンバーをもらうまでの期限があるのでそれまでにレポートの提出とテスト合格しないといけません。大体E資格受験の1ヵ月前までが期限になります。

修了者ナンバーをもらえればこちらからアカウントを作成して、申し込みをし、受験料を払えば当日受験することができます。

果たしてこの資格が役に立つのかといえば微妙かもしれませんが、実際に手を動かすきっかけになるかと思うのでありかもしれません。また、今ならテストについては画像キャプチャしてGPTにでも聞けば解答を得られるかもしれないですね、やったことないですが…

ブログの更新が遅くなりましたが引き続き勉強続けていきたいと思います。ではでは

Claude(クロード)という新しい生成AIを触ってみたよ

Wed, 10 Jan 2024 00:00:00 +0000

生成AIの進化がすごい昨今ですが7月頃に出たAnthropic社のClaudeという生成AIを触ってみました。

一応聞いてみましたが、やはり英語のほうが得意みたいですね。とはいえ日本語も対応しているみたいなので少し触ってみます。

Chat-GPTとどう違いがあるのかわかってなかったので聞いてみたら、こんな感じの回答をもらえました。Chat-GPTは会話重視ですがClaudeは情報提供重視みたいですね。ただ、情報提供だと曖昧なので少し深堀してみようと思います。

なるほど、こんな感じですか。とはいえChat-GPTと大きく違うかと言われるとまだよくわからないのですが…

次は最新情報の日付を調べてみましょう。Chat-GPTは2023年の4月時点の情報だったと思いますが、こっちはどうでしょうか？

あまり的を得ない回答でした。もう少し具体的な日付を出せるようやってみましょう。最近起きた能登半島の地震について聞いてみました。

一応2022年のデータはあるが詳しい情報まではないという感じですね。最後にファイルの確認をしてみましょうか。

裁判の判例ファイルをアップしてみたのですが、合ってそうです。ちなみにこれ無料で使えています。Chat-gpt3.5だと判例は読み切れなかったかと思いますので、コスパに対する性能は高そうです。

今回はこれくらいで終わりにしようと思います。最近の進化は凄すぎてなかなか追うのは難しそうです。ですが、時代に取り残されないよう活用できる側にまわるため色んな情報を取り入れていきましょう！ではでは

転職メールの管理をBardにやらせたら楽になるのではと試行錯誤したやつ

Wed, 27 Dec 2023 00:00:00 +0000

ここのとこあまり役に立たなそうな事ばかり書いていたので変わった内容を書いてみました

転職を検討した際にいろんなサイトから"スカウト"や"気になる"などのメールが来るかと思います。正直をそれらを整理するのが面倒だし、確認も大変だなと思うことが多々あります。

そこでGmailを使ってるならBradを使って楽にならないのかと考えました

今回は"Green"という転職サイトを使ってみました。まずはこんな感じ

なるほど、ここで表示されてるのは"スカウト"をいただいた企業様一覧ですね。

この一覧はスプレッドシートで見れるので作成してもらったらこんな感じ

おお！これを使えばだいぶ管理がしやすくなるのでは！

“スカウト"もありますが、“気になる"という機能もあるみたいでこちらは件数がかなり多いです。

おや？想定よりもかなり少ない件数になりました。

少し趣向を変えて質問してみようと思います。メールの文面で該当するものを抽出してもらいます。

確かにでましたが、やはり全部は出てこないみたいです。Gmailにはタブ別に分けられていたりするのでタブを指定してみました。

何をもって可能性が高いと言ってるかは不明ですが、200件以上あることはわかりました。

ただ、この表には200件も入ってなかったので入るよう指示を出します。

途中で切れてしまいました。そもそも1つの表にまとめてほしいのでそう指示を出してみます。

いやいや、まさかの手動でやれと！？面倒だから頼んでるのに！？ちょっと苛だったので命令口調に

おお！これで確認が楽になるのか！数時間かかってもいいからやってくれるのであれば有難い！ということで必要な情報を渡しました。

これで出来たらウキウキだ！楽しみ！と思って待ってました。とはいえせっかちなので数十分後にきいてみました。

まあ、しょうがない件数も多かったから時間はかかるよねと。数時間後…

いや、まだやってすらなかったのかい！ということで作業を開始するよう指示を出しました。数時間後…

まとめる作業が大変みたいです。1.5Gってそんなにデータ量あるの！？と思いましたが辛抱強く待つことにしました。2日後…

キターーーーーー！終わった！長かった！途中何回か聞きましたが、同じ回答だったので割愛しました。よし、このURLで確認できればこのやりとりももう終わり！

はあ？ナニコレ？できてないじゃん。それとも出来たけど消したりでもした？Bardに呆れた私はこれ以降使うことをやめました。

とはいえ、誰かとのやり取りぐらいだったら簡単にまとめられそうなので忘れがちな人にはいいかもしれないです。

ただ、Chat-GPTでも個人情報の流出があったりしたので、Bardのような色んなGoogleアプリの連携ができるとより流出の可能性があるのでは？と気にしてたりします。

AIは便利ですが、万能ではなくリスクもあるので気を付けつつ、楽な暮らしを目指していきたいですね！ではまた次回の記事で

GitHubに今更創作物を登録してみました

Wed, 20 Dec 2023 00:00:00 +0000

転職をする際、エンジニアの場合自身で何か作ったものがあれば提出することがあると思います。また、転職サイトによってはGitを登録することもあると思います。

私は仕事に必要な時にその場で覚えるタイプなのですが、たまに興味があるものがあってそれを作ってみたいということがちょくちょくありました。ただ、最後まで作りきったことは少ないのですが…

こちらから見ることはできると思います。publicなので誰でも見れます。仕事では基本privateですが、特に利益に繋がったり特別な制作物でなければpublicでもいい気がします。何が利益に繋がるかはわかりませんが…

ところで、人のGitHubを見たことがほとんどないのですが、一般的にはどのようなものをGitにあげてるんでしょうか？何か面白いものや変わった制作物が上がってたりするんでしょうか？

以前会社で作ったものをGitに上げて転職に使ってた事件がありましたが、会社の制作物はいくら自身が作ったとはいえ問題ですね。私もそうならないよう気を付けつつ、何かしら作り続けたいなとは思います。頑張って最後まで作るよう努力します…

GASを使って勤怠管理の提出を忘れないようにしたい！

Sun, 03 Dec 2023 00:00:00 +0000

皆さんは日々の作業の中で提出物などはありますか？

私は月の初めの第1営業日、月の終わりから5営業日前、最終営業日に勤怠の提出があります。忘れがちな私はよく上司から提出していないと言われ、言う側も言われる側もストレスだと思い、Slackに通知が来るようなプログラムを組むことにしました。

連携で使用したアプリは以下の2つになります。

GAS(Google Apps Script)
Slack

やることは以下の順でやっていきます。

Slackに通知するためのアプリ作成
GASにコードを書いて日時実行の設定を行う
- コードの作成
- 実行トリガーの作成

アプリの作成

1つ目ですがまずはSlackのアプリ作成から始めます。こちらからアプリ作成ができます。リンク先に飛んだ後、赤枠の「Create New App」をクリックします。

この画面が出たら赤枠の「From scratch」をクリックします。

この画面が出たらアプリの名前と使用するワークスペースを設定します。仕事で使ってる人はワークスペースが所属している会社名になったりすると思います。設定が完了したら「Create App」をクリックします。

通知の設定

この画面になりますので「OAuth & Permissions」をクリックして、通知の設定をします。

次に、Scopesでアプリに与える権限の設定を行います。「Add an OAuth Scope」をクリックし、「incoming-webhook」を選択します。今回は特定のチャンネル(自身のみ)通知を送る設定なのでこちらを選択します。

ワークスペースへのインストールとURL作成

同じタブで下の方にスクロールするとこの画面が出ますので「install to Workspace」をクリックします。

次に、権限が求められますので投稿先を自身のチャンネルに設定して、「許可する」をクリックします。もし、他の人にも通知をしたい場合は、そのチャンネルに設定してください。

これで通知に必要なURLを設定することができましたので、次はコードの作成に移ります。

コードの作成

2つめのGASに関してはこちらを参考にして作り、コードのきれいさを保つため、Chat-GPTに頼みました。1つ目の設定が終わったらwebhook URLをコード内に貼り付けます。

もし、会社で特定の日が休日であればそこも考慮することができます。私は年末年始辺りの日付を入れてます。“specialHolidays"という変数に日付を入れていただけるとできます。

// Slackに特定の日の通知を送る関数
function documentAlert() {
  const today = new Date();
  // const today = new Date("2023/12/22"); // テスト用: 

  const monthEnd5Date = getLastDateOfMonth(today);
  const monthEnd1Date = getLastDateOfMonth(today);
  const monthStartDate = new Date(today.getFullYear(), today.getMonth(), 1);

  sendNotificationIfDue(today, monthEnd5Date, -5, today+"、5営業日前になりました。見込み版勤怠の提出をお願いします。");
  sendNotificationIfDue(today, monthEnd1Date, -1, today+"、最終営業日になりました。確定版勤怠の提出をお願いします。");
  sendNotificationIfDue(today, monthStartDate, 1, today+"、第一営業日になりました。自社勤怠と交通費精算の提出をお願いします。");
}

// 営業日計算関数
function dayCount(date, offsetDays) {
  let counter = 1;

  while (counter <= Math.abs(offsetDays)) {
    if (!isHoliday_(date)) counter++;
    if (counter > Math.abs(offsetDays)) break;
    date.setDate(date.getDate() + Math.sign(offsetDays));
  }
  return date;
}

// Slackに通知を送る関数
function slackSend(message) {
  const webhookUrl = "ワークスペースのWebhook URL";
  
  const payload = {
    "text": message
  };

  const options = {
    "method": "post",
    "muteHttpExceptions": true,
    "contentType": "application/json",
    "payload": JSON.stringify(payload)
  };

  UrlFetchApp.fetch(webhookUrl, options);
}

// 休日か否かを判定する関数
function isHoliday_(date) {
  if (isWeekend(date) || isHolidayEvent(date) || isSpecialHoliday(date)) {
    return true;
  }
  return false;
}

// 土日判定
function isWeekend(date) {
  const dayOfWeek = date.getDay();
  return dayOfWeek === 0 || dayOfWeek === 6;
}

// 祝日イベント判定
function isHolidayEvent(date) {
  const calendarId = "ja.japanese#holiday@group.v.calendar.google.com";
  const events = CalendarApp.getCalendarById(calendarId).getEventsForDay(date);
  return events.length > 0;
}

// 特定の休日判定
function isSpecialHoliday(date) {
  const specialHolidays = ["0101", "0102", "0103", "1229", "1230", "1231"];
  const formattedDate = Utilities.formatDate(date, "JST", "MMdd");
  return specialHolidays.includes(formattedDate);
}

// 月末最終日を取得する関数
function getLastDateOfMonth(date) {
  return new Date(date.getFullYear(), date.getMonth() + 1, 0);
}

// 特定の日に通知を送るためのヘルパー関数
function sendNotificationIfDue(today, baseDate, offsetDays, message) {
  const targetDate = dayCount(baseDate, offsetDays);
  if (isSameDay(today, targetDate)) {
    slackSend(message);
  }
}

// 二つの日付が同じ日か判定する関数
function isSameDay(date1, date2) {
  return date1.getDate() === date2.getDate();
}

実行トリガーの作成

GPTsを使って1からGCPを触ってみたよ

Fri, 24 Nov 2023 00:00:00 +0000

昨今OpenAIのCEOが退任したり、復帰したりと騒がせている状況ですが、私はGPTsをうまく使えないか模索していたりします。

そんな中でGPTsを使ってGCPの構築を手伝ってもらいました。まずはGPTsの設定ですね

GPTsの設定は簡単でした。「Create a GPT」からオリジナルのGPTを作り、ガイドに従ってどのようなGPTを作りたいのか指示を出します。Configureは無視していいです。ファイルについては業界特有の知識などが必要であれば添付するといいかと思いますが、今回は使いません。

私の場合は、GCPの使い方を知りたかっただけですので特にファイルの添付なども不要です。その後は解答の仕方を聞かれたり、アイコンの見た目やGPTの名前を決めて完了になります。

作った後は簡単でひたすら作ったGPTに質問をします。BigQueryとFirestoreの違いは何か？とかcsvファイルのインポートの仕方はどうしたらいいか？とかLokker StudioとBigQueryを連携してレポートを出す方法を教えて等です。

以下は国のデータから人口動態のcsvファイルを取ってきてインポートしたデータになります。それをグラフで可視化してみました。

このようにGPTsを作って質問すれば、簡単にGCPの構築もできますし、試したいことも出てくると思います。IT系であれば特化したGPTは作りやすいですし、専門的な知識をファイルかURLで与えれば専門分野に特化したGCPもできると思います。また、他人が作成したGCPを使うこともできますので興味があれば調べて触ってみるのもいいと思います。では、よい生成AIライフを～

副業でGCPの案件をやりそうなので勉強中です

Sun, 19 Nov 2023 00:00:00 +0000

最近、友人から副業をやらないかというお誘いがありました。とはいえAWSを使ったことはありますが、GCPを使ったことがないのでとりあえず触ってみてほしいとのことでした。

触ってほしいのは以下の3つ

firestore
BigQuery
Looker Studio

Firestoreの役目としてはスキーマレスで動的なデータ構造に対応、スケーラビリティに優れ、リアルタイムのデータ処理に適しています。

BigQueryの役目としては複雑なデータ構造に対応、大規模かつ高速処理に特化し、大量で複雑な分析に向いています。

Looker StudioはBIツールとして使われ、BigQuery内のデータを可視化でき、ダッシュボードを作成し、ユーザーに理解しやすい形で表示できるツールになります。

ちなみにBigQueryにはデフォルトでオープンデータがあるのでデータ収集やインポートの必要はなさそうです。実務作業ではインポートの必要性もありそうですが、今は使えるようになるのが目標なのでこれで十分だと思います。

BigQueryでクエリを作成し、作られたデータをLooker Studioで表示するまではできそうなのですが、Firestoreのリアルタイムでデータは株や道路情報などがありますが、扱うのはもう少し先になりそうです。

副業案件までどこまで触れるかわかりませんが、自身のできることを増やし、その中で得意なこと、掛け合わせたもので専門性を高めて、来たるAI＆1億人未満の日本社会に備えられたらなーとは思います。

parquetファイルの中身はVSCODEの拡張機能 Data Wranglerで見れる！

Tue, 07 Nov 2023 00:00:00 +0000

parquetファイルについて

parquetファイルは非常に優秀なファイルだと思います。

pythonでデータを扱う場合、小規模のデータであればcsvファイルが使われがちですが、私の現場ではparquetファイルが使われています。

parquetのメリット

メリットとしては

データが圧縮されるため、ストレージの節約になる
ファイルを読み込む際、型の指定をしなくても自動で読み込んでくれる
データを列で読み込むと高速で読み込める

parquetのデメリット

デメリットとしては

ファイルを手軽に扱えない(テキストファイルで開いたり、書き換えたり)

個人的にはこのように感じています。

Data Wranglerについて

これがData Wrangler(ラングラー)を使えば手軽に見ることができます！ただし、書き換えたりはできないですが…。

しかも導入手順も簡単！

拡張機能からData Wranglerをインストール
対象のファイルを右クリック > Opne in Data Wranglerをクリック
pythonやjupyter notebookのカーネルに接続する
必要なライブラリが足らなければインストールを行う

こうすることで以下のような画面でparquetファイルの中身を見ることができます！(画面黒いと目にいいよね)

csvファイルも同じように見れます

ちなみに上記のデータはスクレイピングで取ってきた求人情報になります(スクレイピングプログラムはChat-GPTに頼みました)。一応利用規約見てスクレイピングに関する規約はなかったので大丈夫かと思いますが、もしやる際は連続アクセスにならないよう2,3秒時間を空けることを勧めます。

データ操作について

上のカラム名の場所に欠損の数やユニークな値の数、数値であればヒストグラムの分布などが描かれたりします

また左の操作でカラムの操作や欠損値埋め、文字列変換、グループ化など簡単なデータ変換であればこちらで操作できるうえに、コード化ファイルを出力することもできます！

おおまかにデータを見ながら加工をし、そのプログラムを作ってくれる素晴らしい機能をMicrosoftが提供していますのでぜひ活用していきたいですね！

E資格の試験勉強を再開し始めました！

Mon, 30 Oct 2023 00:00:00 +0000

私は4月頃にE資格の勉強を始めました。

受験の日付は8月の中旬で受験をするための資格取得期限が7月中旬でした

資格の取得は無事取得できたのですが、残り1か月の期間で合格できる気がしなく2024年2月初旬に受けることを決めました。

で、残り3か月になったのでそろそろ勉強を始めないと頭の悪い私は合格できる気がしないので勉強を再開したという経緯になります。

そもそもE資格とは何ぞやということですが、簡潔に言えば「深層学習の理論を理解し、実装能力や知識を有する認定資格」というものになります。

なのでこの資格を取れば深層学習に関する知識を持ち、プログラムの実装もできるはず…

ですが、実際にプログラムの実装をしない人が多いような気もしています。kaggleなどで同時に進めていくとより理解は深まりそうな気もしていますが、そこまでする人もいなさそうです(私含め)

資格はあくまで資格でその先の何をしたいのかが重要なので、転職だったりkaggleで試してみるなど覚えたスキルを活用できる場所を見つけるのが大切ですよね

そんなわけでkaggleを触ってみつつ、勉強を進めていきたいなと思うこのころです

今更Chat-GPTの有料版に課金してプラグインで遊んでます

Sun, 29 Oct 2023 00:00:00 +0000

最近chat-gptに課金してプラグインで遊ぶことを覚えました（笑）

chat-gptがリリースされてもうすぐ1年経とうとしていますが、AIの発展はすごいですね

プラグインも1000個近くあるみたいで、全てを把握するのは難しそうですね

いずれChromeの拡張機能のように悪意のあるプラグインができたりしそうですが…

それはさておき私は以下のプラグインを入れて遊んでます

1.Scraper

2.WebPilot

3.Scholer AI

4.SEO

1はスクレイピングをするときに使ってます。URLに載ってる欲しい情報を書き、そのコードを書いてもらい、後でcolabで実行しています

エラーが出ても修正するようお願いしたら修正してもらえるので楽ですね、下の画像のように出してもらってます

Chat-gptは2021年の9月ぐらいの情報しかないのですが2を使えば最新の情報も取得できますので、調べ物があるときにはお勧めです。簡単な情報ならChromeでもいいですが、日本であまり流行ってないゲームや海外の情報であれば日本語訳もしてくれます

3はScholoerという論文を掲載しているサイトで載ってる論文を探してくれます。とはいえあまり使いこなせてないのですが…

4はサイトのSEO対策について教えてくれます。これを見て参考になることがあるかと思いますが、私の場合はoutput優先なのであまり使いこなせないかも…

こんな感じでプラグインを使いこなすと面白いかと思います。他にも株に関する情報だったり地震やゲーム、経済などももわかりますので是非興味があれば触ってみるといいと思います

プログラマーならAPIを使ってプログラムを書いたり、プラグインを作る側にまわったほうがいいんでしょうが、APIを使った開発をやったことがないのでいずれやってみたいですね