技術への盲目的な信頼の警告的な物語:ホライゾンの悲劇

われわれの国の歴史における最大の司法の誤りのひとつとしか言いようのない出来事が起こりました。16年にわたり、900人以上の地方郵便局長が窃盗、虚偽の会計、詐欺の容疑で容赦なく起訴されました。これらの無実の個人を非難した郵便局は、自身が導入した会計ソフトウェアのバグによって支店の不足金が生じたことを都合よく見落としていました。残念ながら、想像力に欠けるリシ・スナック氏は、この悲劇の重大さを理解することができませんでした。

米海兵隊には、ホライゾンの悲劇に対してぴったりな言葉があります。「クラスターファック」という言葉です。すべてが失敗し、同時に多くのミスや問題が発生する完全な失敗です。ホライゾンという広範でバグだらけのIT調達システムは、イギリス政府が何十年も中毒になっていた欠陥だらけのプロセスの産物でした。ICLの派生企業である富士通から購入されたこのシステムは、郵便局の旧式な紙ベースの会計システムを置き換えることを目指していました。ただし、急速な導入と非技術者の地方郵便局長への不適切なトレーニングにより、システムのバグと不備が発覚しました。

これらの目立つ問題にもかかわらず、郵便局の経営陣は技術への盲信を貫き、その欠点を認めようとしませんでした。地方郵便局長たちは人生を破壊され、悲劇的なことに自ら命を絶つ者さえも出ました。ホライゾンシステムは国全体の現金管理を革新する電子POSシステムであるはずでした。しかし、すぐにそれがその役割には適していないことが明らかになりました。

早くも2001年に、開発チームはシステム内に「数百」のバグを発見しました。例えば、「ダルメルリントンバグ」というものがあり、キャッシュ受領の確認で画面がフリーズするという問題がありました。操作者がフリーズした画面でエンターを押すたびに、記録が黙って更新され、最終的に地方郵便局長が不一致の責任を負うことになるのです。

この一連の物語がますます驚くべきものにするのは、政治システムが真実を認めるまでにかかった時間の長さです。ジャーナリストたちは、2009年以来、ホライゾンの被害者について熱心に報道してきました。この問題に関しては、350以上の記事が公表されました。しかし、ITVで放送された「ベイツ氏対郵便局」の放送をきっかけに問題が注目を浴びました。放送後の公衆の激しい抗議により、首相が庶民院で問題について言及し、対策を約束しました。

この壮大な失敗から学ぶべき中心的な教訓は、技術への盲信の危険性です。郵便局は、明らかな欠点を抱える従来のソフトウェアシステムを心から信じていました。その欠点は、どのような有能な調査者でも指摘できるものでした。私たちは今後、完全に透明で理解不能な人工知能(AI)という新しい技術を展開することに直面しています。AIの誤った判断や行動から生じる不正義を是正する課題は、間違いなくより複雑になるでしょう。ホライゾンは会計に苦労しましたが、AIが可能性を秘めることについては目撃するまで信じがたいものです。

私たちは技術の進歩に対して批判的な目を持ち、盲目的な信仰の過ちを繰り返さないようにすることが非常に重要です。ホライゾンの悲劇は、新しい技術を導入する際の徹底的な調査と妥当な判断の重要性を組織に思い出させる戒めとすべきです。それによって、将来の不正義の可能性を軽減できるのです。

The source of the article is from the blog macholevante.com

Privacy policy
Contact