2022-11-23

PythonでPDF給与明細をデータ化その2

久しぶりにPythonを使用する機会があったので、pdfminer.sixでpdfの表が読み込めずに撃沈していた給与明細のデータ化やります

前回は、pdfの文字を読みこもうとしていたのですが、私の給与明細は明らかに表なので、今回はpdfの表を読みこむ方法を調べました

デデン！「tabula」というキーワードがいっぱい出てきたのでこれを使います。この記事に書かれてる感じで、私の表もデータ化したい qiita.com

ので、書かれている通りJavaをインストールします。 Javaの公式 https://www.java.com/ja/download/help/download_options_ja.html

オンラインインストールとオフラインインストールがあります。特にオフラインでやる理由は無いのでオンラインでやります。日本語でインストール方法書かれているので公式だけで完結する！うれしい！

ということでインストール完了

あとは、先程のQiitaの記事に書かれていた中からPDFを読みこんでくるこの数行を書けば

import pandas, tabula

target_file = "給与明細.pdf"
data_frames = tabula.read_pdf(target_file, lattice=True, pages='all')

for data_flame in data_frames:
    print(data_flame)
    print('★')

給与明細なので、載せられませんが表単位でデータが取れてるみたいです。漢字の文字化けもしてないし、これなら使えそうです。間はスペースだから、このデータを分けていけばいけそう？次はとってきたデータを加工して扱いやすいようにしたいと思います！

2022-02-20

PythonでPDF給与明細をデータ化その１

プログラミング Python

前回、PyhtonをVSCodeで実行できるように設定しました。

sbsn4623.hatenablog.com

私がPythonに手を出した理由、それはPDFでしかダウンロードできない給与明細の計算がめんどくさいから！
CSVでくらい出してくれればいいのに、PDFなんだよ、なんなん！

という事で、給与明細に書かれていそうな「日本語(文章ではない)」「数字」が読み取れるライブラリ探しをします

テキストファイルじゃないデータの読み込みはしたことないので、どこまでぱっぱと出来るのか分かりませんが、表としても認識してくれるのでしょうか。

まあ、そこは後からいじればいいので、PDF読みこませてみたいと思います。

需給、ガイドライン、入荷及び価格の見通し等に関する情報：農林水産省

農林水産省の、令和4年2月の野菜生育表の表をお借りします。

あと、詳細は省きますが今回からターミナル実行じゃなくてジュピター使います
atmarkit.itmedia.co.jp

とりあえず、pdfminer.sixをインストールして、pdf読みこんでそのまま表示、、を試みましたが、農林水産省から借りてきた野菜の生育表からは何も読み取れませんでした。

コードを書くにあたって参考にさせてもらったサイトに書かれていたpdfファイルはちゃんと読みこんだので、pdfminerは表には向いてないかもしれない
self-development.info
pdfminer.sixではなく、開発停止しているらしい方を使用しているっぽいが、派生だと思うのでこれ以上の深堀はやめよう。

Pythonゼロ歳児ですし、私の給与計算だけに使うので、もう少し表の読み込みは簡単にできないのか！？と、、

まあ、最終的な調整で画像処理しなきゃいかんのかなーとはなんとなく思ってる。無駄にカラーだから。PDF給与明細(怨)
PDFの読み込みって、画像処理して読んでくれてると思ってるけどあってるのか？
んーー。読みこんだ文字列を力技で加工して欲しいデータを表示するぜ計画は難航。。

2022-02-19

Pythonいれて、VSCodeで動かすよ

プログラミング Python

Pythonをインストールして、VSCodeで実行する！

人から教えてもらったけど手元にメモが無いので、手探りで実行環境つくる！

OS: Windows10

VSCodeはインストール済。記憶ないけど、Pythonの拡張機能まではいってた。（なのにPythonインストールしてなかったのなぜ）

Pythonのインストール

www.python.org

公式のダウンロードからWindowsの最新ぽいやつをダウンロードする。

特にカスタマイズしたいことは現状無いので、Install Now!な方でインストール

終わると「disable path length limit」って聞いてくる画面が出てきたので、それをクリック。

パスが長いと、実行できない制限の解除らしい。私はフォルダの中に入れまくるので解除しておいた。

詳しいことは、disable～で検索すると沢山でてきます。

Pythonのインストールはおわり。

VSCodeで実行

エクスプローラで実行したいところにフォルダ作ります。

右クリックからVSCode開きます

フォルダ内に.pyの適当なファイルつくります

f:id:sbsn4623:20220219132456p:plain

ターミナル起動して

f:id:sbsn4623:20220219132603p:plain

このサイトを参考に仮想環境を作成します

www.python.jp

> python -m venv .venv
pythonはPythonのexeがある場所
最後の.venvは自分の好きな名前でいいけど、venvが無難っぽい

f:id:sbsn4623:20220219133415p:plain

さっき作ったpythonファイルの他に、.venvができてたら成功

f:id:sbsn4623:20220219134242p:plain

左下の「Python 3.10.2～」をクリックする

f:id:sbsn4623:20220219134523p:plain

画面上部にインタープリターを選択と表示されるので、★がついてる方を選択する。

（★はさっき作成した仮想環境）

f:id:sbsn4623:20220219135001p:plain

ターミナルを開きなおせば実行ができ....ない！！！！

f:id:sbsn4623:20220219174240p:plain

なんかエラー出た！！なんだこれ

& : このシステムではスクリプトの実行が無効になっているため、ファイル ***TestPython\.venv\Scripts\Activate.ps1 を読み込むことができません。詳細については、「about_Execution_Policies」(https://go.microsoft.com/fwlink/?LinkID=135170) を参照してください。

仮想環境はPowerShellのスクリプト実行可能じゃないと動かないんですね～

totech.hateblo.jp

atmarkit.itmedia.co.jp

Restricted × × × 全てのスクリプトが実行禁止。PowerShellまたはWindows OSインストール直後のデフォルト設定（Windows Server 2012 R2を除く）

Restricted	×	×	×	全てのスクリプトが実行禁止。PowerShellまたはWindows OSインストール直後のデフォルト設定（Windows Server 2012 R2を除く）

今はこれですね。デフォルト設定。

引用させていただいたブログによると、RemoteSignedか、Bypassがよいとか。

RemoteSigned ○ ○ × ローカルに保存されているスクリプトは実行可能。インターネットからダウンロードしたスクリプト（非ローカルのスクリプト）は、署名されているもののみが実行可能。Windows Server 2012 R2では、この設定がデフォルト

Bypass ○ ○ ○ 警告やユーザーへの確認なしに、全てのスクリプトが実行可能

RemoteSigned	○	○	×	ローカルに保存されているスクリプトは実行可能。インターネットからダウンロードしたスクリプト（非ローカルのスクリプト）は、署名されているもののみが実行可能。Windows Server 2012 R2では、この設定がデフォルト